
모델을 올리지 않고 배치한다, colibrì
한 줄 요약: colibrì는 “모델이 빠른 메모리에 들어와야 한다”는 전제를 버리지 않고 비틀어요 — 무게를 GPU(핫)·RAM(웜)·NVMe(콜드) 세 층에 나눠 배치하고, 라우터가 부르는 전문가만 그때그때 꺼내 씁니다. 744B부터 1.02T까지 13개 엔진의 실측치가 문서에 남아 있어요.
7월에 다뤘던 colibrì가 크게 달라졌어요. 그때는 “744B를 25GB 램 노트북에서”라는 한 줄이 전부였는데, 이제 저장소는 스스로를 계층형 추론 엔진이라고 부르고 전문가를 세 층에 나눠 배치해요. 별 4만 7,532개(2026-11-04 기준, 포크 5.5천), 엔진 13개, 카탈로그에는 7B부터 1.02T까지 실측 숫자가 붙었어요. 달라진 계층 구조와 카탈로그 숫자를 문서로 대조해 정리했어요.
핵심 문장 — “들어갈 필요는 없다, 배치되면 된다”
README의 정의는 이렇게 시작해요.
모델이 빠른 메모리에 들어갈 필요는 없다. 배치되면 된다.
배치 규칙은 세 층이에요.
| 층 | 무엇이 사는가 | 매체 |
|---|---|---|
| 핫 (hot) | 가장 자주 깨어나는 전문가 + 덴스 레이어 | GPU (CUDA·Vulkan) |
| 웜 (warm) | 덴스 부분(어텐션·공유 전문가·임베딩)과 캐시된 전문가 | RAM |
| 콜드 (cold) | 라우팅 전문가 대부분 | NVMe에서 스트리밍 |
핵심은 세 번째 줄의 표현이에요 — 전문가는 **“필요해질 때 읽는 데이터”**로 취급돼요. 어디에 사는지는 답이 나오는 속도만 정하고, 어떤 가중치가 쓰이고 라우터가 무엇을 고르는지는 바뀌지 않아요. 문서는 이 원칙을 “빠른 메모리가 적으면 속도를 잃을 수는 있어도, 모델을 조용히 재정의해서는 안 된다”로 못 박아요.
숫자로 본 744B — 병목은 디스크다
GLM-5.2(744B)의 기준 수치예요. 개발 박스는 WSL2, 12코어, 25GB 램, VHDX 위의 NVMe였어요.
| 항목 | 값 |
|---|---|
| 디스크 위 모델(int4 컨테이너) | 약 370GB |
| 램 상주(덴스, int4) | 9.9GB |
| 로드 시간 | 약 30초 |
| 채팅 중 최대 RSS | 약 20GB (자동 상한) |
| 콜드 디코드 비용 | 토큰당 약 11GB 디스크 읽기 (75층 × 8전문가) |
| 이 박스의 디스크 한계 | 약 1GB/s → 콜드 기준 0.05~0.1 tok/s |
| MTP 추측 디코드 | 2.2~2.8 토큰/포워드 |
토큰 하나에 11GB를 읽는다는 게 이 구조의 본질이에요. 그래서 속도는 디스크가 정해요. 같은 744B라도 어디에 사느냐에 따라 이렇게 갈려요.
- 25GB 램 노트북(개발 박스): 0.05~0.1 tok/s — 콜드 기준선
- 128GB 라이젠 AI Max+ 395: 1.83 tok/s
- 6× RTX 5090 (전문가 전부 VRAM+RAM 상주): 9.0~9.2 tok/s
20배에서 100배 차이예요. 모델은 같고 배치만 달라요.
카탈로그 — 7B부터 1.02T까지
지금 저장소에는 모델별 요구 램과 실측 속도가 표로 정리돼 있어요. 작은 모델은 램에서 통째로 돌고, 큰 모델은 전문가를 디스크에서 스트리밍해요.
| 모델 | 다운로드 | 램(최소/권장) | 실측 |
|---|---|---|---|
| OLMoE 7B | 14GB (int8 변환 시 7GB) | 8GB | 22~23 tok/s (CPU) |
| Qwen3.6-35B-A3B | 23GB | 10 / 20GB | CPU 6.0 · 내장 GPU 9.9 · CUDA 30.0 |
| DeepSeek V4 Flash 284B | 167GB | 16 / 32GB | 0.93 (32GB) · 1.24 (63GB) · 1.5~1.6 (RTX 5080) |
| Inkling 975B | 514GB | 120 / 128GB | 0.25 tok/s (187GB + RTX A6000) |
| MiMo-V2.6 Pro 1.02T | 564GB | 54 / 64GB | 0.66~0.79 tok/s (CPU) |
이 표가 이 프로젝트의 성격을 잘 보여줘요. 32GB 램에서 284B 모델이 1 tok/s로 돌아요. 느리지만 돌아가요. 반대로 작은 MoE는 CPU에서도 22 tok/s가 나와요. “내 램에서 가장 큰 모델”을 골라 주는 게 셋업 스크립트의 역할이고, 그 바로 아래에 디스크 스트리밍으로 돌릴 모델이 줄줄이 붙어 있어요.

정직한 부분 — 한계를 먼저 적는다
이 프로젝트가 신뢰를 얻은 이유는 문서의 태도예요. 벤치마크 페이지 첫 줄이 **“여기 있는 모든 것은 측정값이지 약속이 아니다”**로 시작해요. 그리고 이런 것들을 먼저 적어요.
- SSD 수명: 읽기는 쓰기만큼 마모시키지 않아서 스트리밍은 안전한 편이에요. 진짜 문제는 램이 부족해 스왑이 발생할 때와, 몇 시간 내내 풀가동할 때의 발열이에요. 그래서 램 예산(
--ram)을 스왑 직전에서 멈추게 설계했다고 해요. - 프리시전 오염 금지: 기본 정책이 모델 정밀도나 라우터 의미를 조용히 바꾸지 않아요. Vulkan 경로에서는 백엔드 산술 차이 때문에 토큰이 CPU와 갈릴 수 있다는 것까지 문서에 적혀 있어요.
- 콜드 스타트는 느려요: 744B에서 0.05 tok/s는 “출발점이자 정직한 바닥”이라고 스스로 부르는 값이에요. 그걸 줄이는 게 MTP 추측(토큰당 처리량 2.2~2.8배)과 인기 전문가 고정(pin) 같은 기능이에요.
계보 — 세 가지 “안 들어가는 모델” 해법
이 블로그에서 다룬 세 프로젝트가 결국 같은 질문에 서로 다른 답을 하고 있어요.
| 프로젝트 | 병목 해법 | 대표 수치 |
|---|---|---|
| TurboFieldfare | 한 기기 안에서 SSD로 엑스퍼트 스트리밍 | 26B / 2GB 램 / 5~6 tok/s |
| colibrì | GPU·RAM·NVMe 3층 배치 + 학습형 캐시 | 744B / 9.9GB 램 / 0.05~9 tok/s |
| Mesh LLM | 여러 기기로 레이어·전문가 분산 | 70B+ / 기기 합산 / 약 15 tok/s |
TurboFieldfare는 특정 모델 하나를 2GB에 욱여넣는 최적화고, colibrì는 여러 모델을 3층에 배치하는 범용 엔진이며, Mesh LLM은 기기 대수를 늘려 총량을 확보하는 쪽이에요. “내 하드웨어에서 이 모델이 도나?“라는 질문에 대한 답이 이제 세 갈래인 셈이에요.
쓰려면
git clone https://github.com/JustVugg/colibri.git
cd colibri/c && ./setup.sh # 빌드 + 아키텍처 셀프테스트
./start-here.sh --list # 내 머신에서 돌릴 수 있는 모델 목록
순수 C로 모델 패밀리마다 파일 하나씩이라 빌드가 가벼워요. ./coli chat, ./coli serve(API+대시보드), ./coli web이 있어요. 대시보드는 전문가가 깨어날 때마다 그걸 보여 줘요 — 구조를 눈으로 확인하는 재미가 있어요.
- 프로젝트: github.com/JustVugg/colibri (★4.75만, Apache 2.0, C)
- 벤치마크: docs/benchmarks.md
- 웹사이트: justvugg.github.io/colibri