
디스크 스트리밍의 속도는 계산으로 나온다
한 줄 요약: 디스크 스트리밍 추론의 속도는 마법이 아니라 나눗셈이에요 — 토큰 하나에 몇 GB를 읽는가 ÷ 디스크 대역폭이 초당 토큰 수를 정해요. 그래서 레이어 스트리밍(모델 전체를 읽음)과 전문가 스트리밍(활성 부분만 읽음)은 같은 기법처럼 보여도 결과가 수십 배 갈려요.
AirLLM은 “4GB GPU로 70B”로 유명해진 프로젝트예요. 지금은 더 나아가서 Kimi K3(2.8T)를 3.72GB VRAM에서 돌려요(별 41,810개, Apache-2.0, 2026-11-07 기준). 처음 봤을 때는 마법처럼 보이는데, README와 실측치를 뜯어보면 산수가 아주 정직한 구조예요. 이 글은 그 산수를 정리한 기록이에요.

왜 되는가 — 한 층만 올린다
창고 비유로 잡아 볼게요. 물건이 너무 많아 작업대에 다 못 올린다면, 필요한 상자만 하나씩 올려서 쓰고 내리는 방법이 있어요. AirLLM이 그 방식이에요.
원리는 단순해요. 모델을 층 단위로 쪼개서 GPU에는 한 층만 올리고, 계산하고, 버리고, 다음 층을 올려요. 그러면 VRAM 요구량은 모델 전체 크기가 아니라 층 하나의 크기로 정해져요. 671B 모델이 12GB 카드에 들어가는 이유가 이거예요.
AirLLM README의 표를 보면 요구 VRAM이 모델 크기와 거의 무관하게 평평해요.
| 모델 | 크기 | 필요 VRAM |
|---|---|---|
| Llama 3.x 70B (풀 프리시전) | 70B | 약 4GB |
| Llama 3.1 405B | 405B | 약 8GB |
| DeepSeek-V3 | 671B | 약 12GB |
| Kimi K3 | 2.8T | 3.72GB |
크기가 40배 커지는데 VRAM은 3배만 늘어요. 이게 이 기법의 매력이에요.
그런데 왜 느린가 — 나눗셈 하나
문제는 상자를 올릴 때마다 창고(디스크)까지 걸어가야 한다는 점이에요. 즉 다음 층을 읽어야 해요. 토큰 하나를 만들려면 모델의 모든 층을 한 번씩 통과해야 하니, 토큰 하나당 모델 전체 크기만큼 디스크를 읽어요.
계산은 이렇게 돼요.
초당 토큰 = 디스크 대역폭 ÷ 토큰당 읽는 바이트
70B를 fp16으로 담으면 140GB예요. NVMe가 7GB/s로 읽는다면 토큰 하나에 20초. 초당 0.05토큰이에요. 4비트로 압축하면 35GB가 되어 5초, 즉 0.2토큰이 돼요. 실제로 AirLLM은 “블록 단위 양자화로 최대 3배 빨라졌다”고 기록해요 — 읽는 바이트가 줄었기 때문이에요. 속도 개선의 정체가 산수라는 걸 스스로 증명하는 셈이죠.
| 모델(양자화) | 토큰당 읽기 | 1GB/s | 3.5GB/s | 7GB/s | 14GB/s |
|---|---|---|---|---|---|
| 70B (fp16) | 140GB | 0.007 | 0.03 | 0.05 | 0.10 |
| 405B (fp16) | 810GB | 0.001 | 0.004 | 0.009 | 0.017 |
| 671B (int8) | 671GB | 0.002 | 0.005 | 0.010 | 0.021 |
단위는 초당 토큰이에요. 405B를 fp16으로 스트리밍하면 14GB/s 디스크에서도 초당 0.017토큰이에요. 한 토큰에 1분. 이게 물리예요.
전문가 스트리밍은 왜 다른가
여기서 AirLLM의 최근 변화가 흥미로워요. Kimi K3(2.8T)는 층 전체를 읽지 않아요. README는 “토큰이 실제로 라우팅되는 전문가만 로드한다(per-expert streaming)“고 적어요. MoE 모델이니까 가능한 일이에요.
차이를 숫자로 보면 이래요. 아래는 colibrì 벤치마크에 기록된 GLM-5.2(744B) 실측이에요.
| 방식 | 토큰당 읽기 | 모델 대비 비율 |
|---|---|---|
| 층 스트리밍(744B int4 전체) | 약 372GB | 100% |
| 전문가 스트리밍(744B int4, 활성만) | 약 11GB | 약 3% |
같은 모델인데 토큰당 읽는 양이 34분의 1이에요. 이유는 라우터가 토큰마다 전문가 일부만 고르기 때문이에요. 744B 중 실제로 계산되는 건 40B 수준이고, int4로 담으면 11GB 안팎이죠.
속도로 바꾸면 이래요.
| 조건 | 층 스트리밍 | 전문가 스트리밍 |
|---|---|---|
| 1GB/s 디스크 | 0.003 tok/s | 0.09 tok/s |
| 7GB/s NVMe | 0.019 tok/s | 0.64 tok/s |
colibrì가 개발 박스(1GB/s급, 25GB 램)에서 측정한 값이 0.05~0.1 tok/s예요. 우리 계산의 0.09와 같은 구간이에요. 계산이 실측을 따라간다는 뜻이죠.
실측으로 검산
릴스에서 흔히 도는 숫자 하나를 검산해 볼게요. “32B 모델에서 토큰당 13초”라는 측정이 있었어요. 32B fp16은 64GB니까, 64GB ÷ 13초 = 4.9GB/s예요. 요즘 PCIe 4.0 NVMe 한 장이 내는 속도와 맞아요. 그 숫자는 이상한 게 아니라 정상이에요.
반대로 744B MoE가 1GB/s 디스크에서 11초/토큰이 나온다는 것도 계산과 맞아요. 모델이 10배 커도 토큰당 읽는 양이 13분의 1이면 더 빨라요. 크기가 아니라 희소성이 속도를 정해요.
세대로 보면
이 계열 기술은 세 단계로 발전했어요.
| 세대 | 방식 | 대표 | 토큰당 읽기 |
|---|---|---|---|
| 1세대 (2023) | 층 스트리밍 | AirLLM 초기 | 모델 전체 |
| 2세대 (2024) | 층 스트리밍 + 양자화 | AirLLM 4비트 | 모델의 1/4 |
| 3세대 (2026) | 전문가 스트리밍 | AirLLM K3, colibrì | 모델의 3% |
AirLLM이 2026년 7월에 K3를 지원하며 전문가 스트리밍으로 넘어간 것, colibrì가 처음부터 전문가 단위로 설계한 것, TurboFieldfare가 특정 MoE 모델의 엑스퍼트를 SSD에서 읽는 것 — 모두 같은 방향이에요. “무엇을 디스크에 둘 것인가”의 단위가 층에서 전문가로 내려온 거죠.
언제 써야 하나
- 배치 작업: 밤새 돌려 결과를 아침에 받는 용도. 초당 0.1토큰이면 8시간에 약 2,900토큰이에요. 짧은 요약 몇 건에는 충분해요.
- 모델 검증: 큰 모델을 임대하기 전에 “이게 우리 문제를 푸는가”만 확인할 때. 20토큰만 뽑아 봐도 판단이 되는 경우가 많아요.
- 학습·실험: AirLLM은 2026년 9월부터 학습도 지원해요. 동결된 가중치는 층 단위로 스트리밍하고 어댑터만 GPU에 두는 방식이라, 125B 모델을 6GB에서 학습해요.
- 챗봇으로는 무리: 대화는 지연이 생명이라 초당 0.1토큰은 답답해요. 이건 취향이 아니라 산수예요.
체크리스트
- 디스크 대역폭을 먼저 잰다 —
dd나fio로 순차 읽기 속도를 확인해요. 7GB/s와 1GB/s는 7배 차이예요. - 모델의 희소성을 확인한다 — MoE인지, 활성 파라미터가 몇 개인지. 이게 속도의 90%를 결정해요.
- 양자화로 읽는 바이트를 줄인다 — 4비트면 4배 빨라져요. 정확도와 바꾸는 거래예요.
- 읽기 위주라는 점을 기억한다 — 스트리밍은 읽기만 해요. 쓰기가 늘어나는 건 램이 부족해 스왑이 발생할 때예요. 램 예산을 여유 있게 잡으세요.
- 기대치를 계산으로 잡는다 —
토큰당 GB ÷ 디스크 GB/s. 사기 전에 알 수 있어요.
정리
“4GB로 70B”는 과장이 아니에요. 다만 VRAM을 디스크 시간으로 바꾼 거래예요. 그 환율은 대역폭과 희소성으로 정해지고, 계산기로 미리 알 수 있어요. AirLLM이 희소 모델로 옮겨간 것도, colibrì가 전문가 단위로 설계된 것도 결국 환율을 유리하게 만드는 방법이에요.
- 프로젝트: github.com/lyogavin/airllm (Apache-2.0)
- 실측 참고: colibrì 벤치마크
- 관련 글: 모델을 올리지 않고 배치한다, colibrì · 8GB 맥북에어에 26B 모델, SSD로 푼다