oMLX
맥 메뉴 막대에서 관리하는 로컬 추론 서버
brew tap jundot/omlx https://github.com/jundot/omlx && brew install jundot/omlx/omlx애플 실리콘 맥에서 모델을 서빙하는 추론 서버입니다. 여러 요청을 이어 붙여 처리하고 키 값 캐시를 메모리와 SSD 두 층에 나눠 보관합니다. 대화 중간에 맥락이 바뀌어도 앞선 맥락이 캐시에 남아 다음 요청에서 다시 쓰이기 때문에, 로컬 모델로 코딩 도구를 붙여 쓰는 작업이 실제로 견딜 만해집니다. 자주 쓰는 모델은 메모리에 고정해 두고 무거운 모델은 필요할 때 자동으로 바꿔 올리며 맥락 한도를 정할 수 있습니다. 이 모든 것을 메뉴 막대에서 관리합니다. 앱을 깔면 터미널과 단축어에서 서버를 제어할 CLI 도 함께 들어갑니다.
판단
이럴 때 씁니다
- 맥에서 로컬 모델로 코딩 도구를 붙여 쓰고 싶을 때
- 같은 맥락이 반복되는 요청이 많아 캐시 이득이 클 때
- 모델을 메모리에 고정하고 무거운 것만 바꿔 올리고 싶을 때
이럴 땐 쓰지 마세요
- 애플 실리콘 맥 전용입니다
- 특정 모델 계열은 별도 커널을 빌드하지 않으면 훨씬 느려집니다
- 메모리가 넉넉하지 않으면 고정 전략의 이점이 작습니다
차별점
- 키 값 캐시를 메모리와 SSD 두 층에 나눠 보관합니다.
- 대화 중간에 맥락이 바뀌어도 앞선 맥락이 재사용됩니다.
- 메뉴 막대에서 모델 고정과 교체, 맥락 한도를 관리합니다.
- 앱과 CLI, 단축어가 같은 서버를 제어합니다.
워크플로
- 01앱이나 홈브루로 설치합니다.
- 02쓸 모델을 내려받습니다.
- 03메모리에 고정할 모델과 필요할 때 올릴 모델을 정합니다.
- 04맥락 한도와 캐시 계층을 설정합니다.
- 05OpenAI 호환 주소로 코딩 도구를 붙입니다.
주요 명령
| 명령 | 설명 |
|---|---|
brew install jundot/omlx/omlx | 홈브루로 설치합니다. |
omlx start | 백그라운드 서비스로 돌립니다. 죽으면 자동으로 다시 뜹니다. |
brew install jundot/omlx/omlx --HEAD --with-custom-kernel | 특정 모델 계열용 네이티브 커널을 함께 빌드합니다. |
함정
설치 전에 확인하세요
- 평범한 소스 설치는 네이티브 커널을 빌드하지 않습니다. 해당 모델 계열은 조용히 훨씬 느린 경로로 떨어지고 메모리도 더 씁니다. 실측으로 30배 차이가 난 사례가 저장소에 적혀 있습니다.
- 커널을 빌드하려면 메탈 툴체인이 필요합니다. 명령줄 도구만으로는 되지 않습니다.
- macOS 15 이상과 파이썬 3.11에서 3.13 사이가 필요합니다.
- MCP 지원은 별도 설치입니다. 홈브루로 깔았다면 그 안의 파이썬에 따로 넣어야 합니다.
비교
맥용 로컬 서버는 대체로 모델을 올리고 내리는 데까지입니다. 이쪽은 캐시를 계층으로 나눠 오래 이어지는 대화에서 앞선 계산을 다시 쓰게 만든 것이 차이입니다. 코딩 도구처럼 같은 파일 맥락을 반복해서 넣는 작업에서 체감이 큽니다.
최근 변경
특정 모델의 선처리와 생성 성능이 크게 개선됐고 이어 붙인 처리와 접두사 캐시 복원, 모델 적재와 설정 문제가 함께 고쳐졌습니다.