생각을 정리하는 마인드맵, 풀맵 →
기술 딥다이브

디스크 스트리밍의 속도는 계산으로 나온다


한 줄 요약: 디스크 스트리밍 추론의 속도는 마법이 아니라 나눗셈이에요 — 토큰 하나에 몇 GB를 읽는가 ÷ 디스크 대역폭이 초당 토큰 수를 정해요. 그래서 레이어 스트리밍(모델 전체를 읽음)과 전문가 스트리밍(활성 부분만 읽음)은 같은 기법처럼 보여도 결과가 수십 배 갈려요.

AirLLM은 “4GB GPU로 70B”로 유명해진 프로젝트예요. 지금은 더 나아가서 Kimi K3(2.8T)를 3.72GB VRAM에서 돌려요(별 41,810개, Apache-2.0, 2026-11-07 기준). 처음 봤을 때는 마법처럼 보이는데, README와 실측치를 뜯어보면 산수가 아주 정직한 구조예요. 이 글은 그 산수를 정리한 기록이에요.

AirLLM 리포 — 2.8T 모델을 4GB GPU에서, 별 4.18만, Apache-2.0

왜 되는가 — 한 층만 올린다

창고 비유로 잡아 볼게요. 물건이 너무 많아 작업대에 다 못 올린다면, 필요한 상자만 하나씩 올려서 쓰고 내리는 방법이 있어요. AirLLM이 그 방식이에요.

원리는 단순해요. 모델을 층 단위로 쪼개서 GPU에는 한 층만 올리고, 계산하고, 버리고, 다음 층을 올려요. 그러면 VRAM 요구량은 모델 전체 크기가 아니라 층 하나의 크기로 정해져요. 671B 모델이 12GB 카드에 들어가는 이유가 이거예요.

AirLLM README의 표를 보면 요구 VRAM이 모델 크기와 거의 무관하게 평평해요.

모델 크기 필요 VRAM
Llama 3.x 70B (풀 프리시전) 70B 약 4GB
Llama 3.1 405B 405B 약 8GB
DeepSeek-V3 671B 약 12GB
Kimi K3 2.8T 3.72GB

크기가 40배 커지는데 VRAM은 3배만 늘어요. 이게 이 기법의 매력이에요.

그런데 왜 느린가 — 나눗셈 하나

문제는 상자를 올릴 때마다 창고(디스크)까지 걸어가야 한다는 점이에요. 즉 다음 층을 읽어야 해요. 토큰 하나를 만들려면 모델의 모든 층을 한 번씩 통과해야 하니, 토큰 하나당 모델 전체 크기만큼 디스크를 읽어요.

계산은 이렇게 돼요.

초당 토큰 = 디스크 대역폭 ÷ 토큰당 읽는 바이트

70B를 fp16으로 담으면 140GB예요. NVMe가 7GB/s로 읽는다면 토큰 하나에 20초. 초당 0.05토큰이에요. 4비트로 압축하면 35GB가 되어 5초, 즉 0.2토큰이 돼요. 실제로 AirLLM은 “블록 단위 양자화로 최대 3배 빨라졌다”고 기록해요 — 읽는 바이트가 줄었기 때문이에요. 속도 개선의 정체가 산수라는 걸 스스로 증명하는 셈이죠.

모델(양자화) 토큰당 읽기 1GB/s 3.5GB/s 7GB/s 14GB/s
70B (fp16) 140GB 0.007 0.03 0.05 0.10
405B (fp16) 810GB 0.001 0.004 0.009 0.017
671B (int8) 671GB 0.002 0.005 0.010 0.021

단위는 초당 토큰이에요. 405B를 fp16으로 스트리밍하면 14GB/s 디스크에서도 초당 0.017토큰이에요. 한 토큰에 1분. 이게 물리예요.

전문가 스트리밍은 왜 다른가

여기서 AirLLM의 최근 변화가 흥미로워요. Kimi K3(2.8T)는 층 전체를 읽지 않아요. README는 “토큰이 실제로 라우팅되는 전문가만 로드한다(per-expert streaming)“고 적어요. MoE 모델이니까 가능한 일이에요.

차이를 숫자로 보면 이래요. 아래는 colibrì 벤치마크에 기록된 GLM-5.2(744B) 실측이에요.

방식 토큰당 읽기 모델 대비 비율
층 스트리밍(744B int4 전체) 약 372GB 100%
전문가 스트리밍(744B int4, 활성만) 약 11GB 약 3%

같은 모델인데 토큰당 읽는 양이 34분의 1이에요. 이유는 라우터가 토큰마다 전문가 일부만 고르기 때문이에요. 744B 중 실제로 계산되는 건 40B 수준이고, int4로 담으면 11GB 안팎이죠.

속도로 바꾸면 이래요.

조건 층 스트리밍 전문가 스트리밍
1GB/s 디스크 0.003 tok/s 0.09 tok/s
7GB/s NVMe 0.019 tok/s 0.64 tok/s

colibrì가 개발 박스(1GB/s급, 25GB 램)에서 측정한 값이 0.05~0.1 tok/s예요. 우리 계산의 0.09와 같은 구간이에요. 계산이 실측을 따라간다는 뜻이죠.

실측으로 검산

릴스에서 흔히 도는 숫자 하나를 검산해 볼게요. “32B 모델에서 토큰당 13초”라는 측정이 있었어요. 32B fp16은 64GB니까, 64GB ÷ 13초 = 4.9GB/s예요. 요즘 PCIe 4.0 NVMe 한 장이 내는 속도와 맞아요. 그 숫자는 이상한 게 아니라 정상이에요.

반대로 744B MoE가 1GB/s 디스크에서 11초/토큰이 나온다는 것도 계산과 맞아요. 모델이 10배 커도 토큰당 읽는 양이 13분의 1이면 더 빨라요. 크기가 아니라 희소성이 속도를 정해요.

세대로 보면

이 계열 기술은 세 단계로 발전했어요.

세대 방식 대표 토큰당 읽기
1세대 (2023) 층 스트리밍 AirLLM 초기 모델 전체
2세대 (2024) 층 스트리밍 + 양자화 AirLLM 4비트 모델의 1/4
3세대 (2026) 전문가 스트리밍 AirLLM K3, colibrì 모델의 3%

AirLLM이 2026년 7월에 K3를 지원하며 전문가 스트리밍으로 넘어간 것, colibrì가 처음부터 전문가 단위로 설계한 것, TurboFieldfare가 특정 MoE 모델의 엑스퍼트를 SSD에서 읽는 것 — 모두 같은 방향이에요. “무엇을 디스크에 둘 것인가”의 단위가 층에서 전문가로 내려온 거죠.

언제 써야 하나

  • 배치 작업: 밤새 돌려 결과를 아침에 받는 용도. 초당 0.1토큰이면 8시간에 약 2,900토큰이에요. 짧은 요약 몇 건에는 충분해요.
  • 모델 검증: 큰 모델을 임대하기 전에 “이게 우리 문제를 푸는가”만 확인할 때. 20토큰만 뽑아 봐도 판단이 되는 경우가 많아요.
  • 학습·실험: AirLLM은 2026년 9월부터 학습도 지원해요. 동결된 가중치는 층 단위로 스트리밍하고 어댑터만 GPU에 두는 방식이라, 125B 모델을 6GB에서 학습해요.
  • 챗봇으로는 무리: 대화는 지연이 생명이라 초당 0.1토큰은 답답해요. 이건 취향이 아니라 산수예요.

체크리스트

  1. 디스크 대역폭을 먼저 잰다 — dd나 fio로 순차 읽기 속도를 확인해요. 7GB/s와 1GB/s는 7배 차이예요.
  2. 모델의 희소성을 확인한다 — MoE인지, 활성 파라미터가 몇 개인지. 이게 속도의 90%를 결정해요.
  3. 양자화로 읽는 바이트를 줄인다 — 4비트면 4배 빨라져요. 정확도와 바꾸는 거래예요.
  4. 읽기 위주라는 점을 기억한다 — 스트리밍은 읽기만 해요. 쓰기가 늘어나는 건 램이 부족해 스왑이 발생할 때예요. 램 예산을 여유 있게 잡으세요.
  5. 기대치를 계산으로 잡는다 — 토큰당 GB ÷ 디스크 GB/s. 사기 전에 알 수 있어요.

정리

“4GB로 70B”는 과장이 아니에요. 다만 VRAM을 디스크 시간으로 바꾼 거래예요. 그 환율은 대역폭과 희소성으로 정해지고, 계산기로 미리 알 수 있어요. AirLLM이 희소 모델로 옮겨간 것도, colibrì가 전문가 단위로 설계된 것도 결국 환율을 유리하게 만드는 방법이에요.