8GB 맥북에어에 26B 모델, SSD로 푼다
한 줄 요약: 26B 파라미터 모델을 8GB 램 맥북에어에서 돌리는 원리는 단순해요 — 전체 모델을 메모리에 올리지 않고, 매 토큰에 켜지는 3.9B 엑스퍼트만 SSD에서 읽어 오는 거예요. TurboFieldfare의 벤치마크 표를 직접 대조하며 어디서 유리하고 어디서 희생되는지 정리했어요.
로컬 LLM의 첫 관문은 언제나 메모리였어요. 모델 크기가 램보다 크면 작은 모델로 타협하는 게 상식이었죠. TurboFieldfare는 이 관문의 대답을 다르게 만든 프로젝트예요 — 14.3GB짜리 Gemma 4 26B-A4B를 통째로 올리는 대신, 약 2GB 예산으로 돌려요. 실측 표를 대조해 봤고, 이 방식의 계보와 트레이드오프까지 정리했어요.
전체 모델이 아니라 “켜지는 부분”만 상주
핵심은 모델 구조예요. Gemma 4 26B-A4B는 MoE(전문가 혼합) 구조라 이름엔 26B가 붙지만, 토큰 하나를 처리할 때 실제로 연산되는 파라미터는 약 3.9B예요. 그런데 모델 파일은 전문가 26B를 다 담고 있어서 14.3GB인 거죠.
TurboFieldfare는 공유 부분과 전문가 부분을 분리해요.
- 상주: 1.35GB 공유 코어 + FP16 KV 캐시. 모든 토큰이 쓰는 부분이라 메모리에 고정돼요.
- 스트리밍: 토큰마다 선택되는 엑스퍼트 가중치만 SSD에서 읽어 와요. 끝나면 버려요.
그래서 램 사용량이 모델 크기가 아니라 “켜지는 부분 + 캐시” 크기가 돼요. 8GB 맥북에서도 OS와 앱 몫을 남겨 두고 돌아가는 이유예요.
실측 — 속도는 희생, 메모리는 압도
공식 벤치마크 문서의 측정값을 정리한 표예요.
| 환경 | 디코드 속도 | 메모리 |
|---|---|---|
| 8GB M2 에어, TurboFieldfare | 5.10~6.30 tok/s | 약 1.9~2.1GB |
| 24GB M5 프로, TurboFieldfare | 31~35 tok/s | 약 2.1GB |
| 24GB M5 프로, mlx-lm | 76~82 tok/s | RSS 8.3~9.8GB + GPU 할당 14.7~15.3GB |
같은 M5 프로 기준으로 속도는 MLX의 절반 이하가 돼요. 대신 메모리는 4분의 1 이하죠. M2 에어 8GB에서 5~6 tok/s면 대화형 대답을 읽는 데는 충분하고, 장문 생성엔 느린 편이에요. 토큰당 엑스퍼트를 SSD에서 읽는 방식이라 성능은 SSD 대역폭과 곧장 연결돼요. 같은 맥이라도 SSD 속도가 빠를수록 유리하고, 측정 기록 보면 프롬프트가 길어져도(1,017 토큰) 5.38 tok/s로 크게 떨어지지 않아요.
mlx 대신 커스텀 런타임인 이유
이 프로젝트가 MLX나 llama.cpp 포장이 아니라는 점이 특이해요. 엑스퍼트 스트리밍 디코드 경로를 Swift + Metal 4로 직접 구현했고, 토크나이저·CLI·네이티브 맥 앱까지 Swift로 묶었어요. 커스텀 캐시 커널·I/O 파이프라인 같은 실험 기록이 103개 측정 결과로 남아 있어서, 성능이 “공짜”가 아니라 최적화의 결과라는 걸 문서로 보여 줘요.
이 계열은 기존에도 시도가 있었어요. 레이어를 하나씩 SSD에서 스트리밍해 극저 메모리에서 거대 모델을 돌리는 AirLLM이 전형적이었죠(이 블로그의 AirLLM 4GB 포스팅 참고). TurboFieldfare는 그 접근을 MoE의 “토큰당 일부 엑스퍼트만 연산” 속성과 접목한 버전이에요. 레이어 전체를 옮기는 AirLLM보다 토큰당 전송량이 작아서 속도가 훨씬 덜 떨어져요.
쓰려면
- 환경: macOS 26 이상, 애플 실리콘 맥. 8GB 모델도 돌지만 SSD 여유 공간 필요
- 설치: 리포 클론 후
swift build -c release로 앱 빌드, 앱에서 Download Model 로 모델 내려받기(약 15GB), Load Model 후 프롬프트 입력 - 라이선스: Apache 2.0 (코드), 모델은 구글의 Gemma 이용 조건 따름
정리
“램 안에 들어와야 로컬 모델”이라는 전제가 흔들리고 있어요. 활성 파라미터가 작은 MoE 모델 + SSD 스트리밍 조합이면 8GB 맥도 26B급 성능을 낼 수 있어요. 실측 수치를 보면 트레이드오프가 분명해요 — 속도의 절반(MLX 대비)을 메모리의 4분의 1로 바꾸는 선택이에요. SSD 빠른 기종이면 그 선택이 점점 더 저렴해지겠네요.
- 프로젝트: github.com/drumih/turbo-fieldfare
- 벤치마크: docs/BENCHMARKS.md
- 시스템 설계: docs/SYSTEM_DESIGN.md