생각을 정리하는 마인드맵, 풀맵 →
기술 딥다이브

모델을 올리지 않고 배치한다, colibrì


한 줄 요약: colibrì는 “모델이 빠른 메모리에 들어와야 한다”는 전제를 버리지 않고 비틀어요 — 무게를 GPU(핫)·RAM(웜)·NVMe(콜드) 세 층에 나눠 배치하고, 라우터가 부르는 전문가만 그때그때 꺼내 씁니다. 744B부터 1.02T까지 13개 엔진의 실측치가 문서에 남아 있어요.

7월에 다뤘던 colibrì가 크게 달라졌어요. 그때는 “744B를 25GB 램 노트북에서”라는 한 줄이 전부였는데, 이제 저장소는 스스로를 계층형 추론 엔진이라고 부르고 전문가를 세 층에 나눠 배치해요. 별 4만 7,532개(2026-11-04 기준, 포크 5.5천), 엔진 13개, 카탈로그에는 7B부터 1.02T까지 실측 숫자가 붙었어요. 달라진 계층 구조와 카탈로그 숫자를 문서로 대조해 정리했어요.

핵심 문장 — “들어갈 필요는 없다, 배치되면 된다”

README의 정의는 이렇게 시작해요.

모델이 빠른 메모리에 들어갈 필요는 없다. 배치되면 된다.

배치 규칙은 세 층이에요.

층 무엇이 사는가 매체
핫 (hot) 가장 자주 깨어나는 전문가 + 덴스 레이어 GPU (CUDA·Vulkan)
웜 (warm) 덴스 부분(어텐션·공유 전문가·임베딩)과 캐시된 전문가 RAM
콜드 (cold) 라우팅 전문가 대부분 NVMe에서 스트리밍

핵심은 세 번째 줄의 표현이에요 — 전문가는 **“필요해질 때 읽는 데이터”**로 취급돼요. 어디에 사는지는 답이 나오는 속도만 정하고, 어떤 가중치가 쓰이고 라우터가 무엇을 고르는지는 바뀌지 않아요. 문서는 이 원칙을 “빠른 메모리가 적으면 속도를 잃을 수는 있어도, 모델을 조용히 재정의해서는 안 된다”로 못 박아요.

숫자로 본 744B — 병목은 디스크다

GLM-5.2(744B)의 기준 수치예요. 개발 박스는 WSL2, 12코어, 25GB 램, VHDX 위의 NVMe였어요.

항목 값
디스크 위 모델(int4 컨테이너) 약 370GB
램 상주(덴스, int4) 9.9GB
로드 시간 약 30초
채팅 중 최대 RSS 약 20GB (자동 상한)
콜드 디코드 비용 토큰당 약 11GB 디스크 읽기 (75층 × 8전문가)
이 박스의 디스크 한계 약 1GB/s → 콜드 기준 0.05~0.1 tok/s
MTP 추측 디코드 2.2~2.8 토큰/포워드

토큰 하나에 11GB를 읽는다는 게 이 구조의 본질이에요. 그래서 속도는 디스크가 정해요. 같은 744B라도 어디에 사느냐에 따라 이렇게 갈려요.

  • 25GB 램 노트북(개발 박스): 0.05~0.1 tok/s — 콜드 기준선
  • 128GB 라이젠 AI Max+ 395: 1.83 tok/s
  • 6× RTX 5090 (전문가 전부 VRAM+RAM 상주): 9.0~9.2 tok/s

20배에서 100배 차이예요. 모델은 같고 배치만 달라요.

카탈로그 — 7B부터 1.02T까지

지금 저장소에는 모델별 요구 램과 실측 속도가 표로 정리돼 있어요. 작은 모델은 램에서 통째로 돌고, 큰 모델은 전문가를 디스크에서 스트리밍해요.

모델 다운로드 램(최소/권장) 실측
OLMoE 7B 14GB (int8 변환 시 7GB) 8GB 22~23 tok/s (CPU)
Qwen3.6-35B-A3B 23GB 10 / 20GB CPU 6.0 · 내장 GPU 9.9 · CUDA 30.0
DeepSeek V4 Flash 284B 167GB 16 / 32GB 0.93 (32GB) · 1.24 (63GB) · 1.5~1.6 (RTX 5080)
Inkling 975B 514GB 120 / 128GB 0.25 tok/s (187GB + RTX A6000)
MiMo-V2.6 Pro 1.02T 564GB 54 / 64GB 0.66~0.79 tok/s (CPU)

이 표가 이 프로젝트의 성격을 잘 보여줘요. 32GB 램에서 284B 모델이 1 tok/s로 돌아요. 느리지만 돌아가요. 반대로 작은 MoE는 CPU에서도 22 tok/s가 나와요. “내 램에서 가장 큰 모델”을 골라 주는 게 셋업 스크립트의 역할이고, 그 바로 아래에 디스크 스트리밍으로 돌릴 모델이 줄줄이 붙어 있어요.

colibrì 리포 — 계층형 MoE 추론 엔진, 별 4.75만, Apache 2.0, C

정직한 부분 — 한계를 먼저 적는다

이 프로젝트가 신뢰를 얻은 이유는 문서의 태도예요. 벤치마크 페이지 첫 줄이 **“여기 있는 모든 것은 측정값이지 약속이 아니다”**로 시작해요. 그리고 이런 것들을 먼저 적어요.

  • SSD 수명: 읽기는 쓰기만큼 마모시키지 않아서 스트리밍은 안전한 편이에요. 진짜 문제는 램이 부족해 스왑이 발생할 때와, 몇 시간 내내 풀가동할 때의 발열이에요. 그래서 램 예산(--ram)을 스왑 직전에서 멈추게 설계했다고 해요.
  • 프리시전 오염 금지: 기본 정책이 모델 정밀도나 라우터 의미를 조용히 바꾸지 않아요. Vulkan 경로에서는 백엔드 산술 차이 때문에 토큰이 CPU와 갈릴 수 있다는 것까지 문서에 적혀 있어요.
  • 콜드 스타트는 느려요: 744B에서 0.05 tok/s는 “출발점이자 정직한 바닥”이라고 스스로 부르는 값이에요. 그걸 줄이는 게 MTP 추측(토큰당 처리량 2.2~2.8배)과 인기 전문가 고정(pin) 같은 기능이에요.

계보 — 세 가지 “안 들어가는 모델” 해법

이 블로그에서 다룬 세 프로젝트가 결국 같은 질문에 서로 다른 답을 하고 있어요.

프로젝트 병목 해법 대표 수치
TurboFieldfare 한 기기 안에서 SSD로 엑스퍼트 스트리밍 26B / 2GB 램 / 5~6 tok/s
colibrì GPU·RAM·NVMe 3층 배치 + 학습형 캐시 744B / 9.9GB 램 / 0.05~9 tok/s
Mesh LLM 여러 기기로 레이어·전문가 분산 70B+ / 기기 합산 / 약 15 tok/s

TurboFieldfare는 특정 모델 하나를 2GB에 욱여넣는 최적화고, colibrì는 여러 모델을 3층에 배치하는 범용 엔진이며, Mesh LLM은 기기 대수를 늘려 총량을 확보하는 쪽이에요. “내 하드웨어에서 이 모델이 도나?“라는 질문에 대한 답이 이제 세 갈래인 셈이에요.

쓰려면

git clone https://github.com/JustVugg/colibri.git
cd colibri/c && ./setup.sh    # 빌드 + 아키텍처 셀프테스트
./start-here.sh --list        # 내 머신에서 돌릴 수 있는 모델 목록

순수 C로 모델 패밀리마다 파일 하나씩이라 빌드가 가벼워요. ./coli chat, ./coli serve(API+대시보드), ./coli web이 있어요. 대시보드는 전문가가 깨어날 때마다 그걸 보여 줘요 — 구조를 눈으로 확인하는 재미가 있어요.