생각을 정리하는 마인드맵, 풀맵 →
기술 딥다이브

분산 추론은 무엇을 나누는가


한 줄 요약: 분산 추론은 “모델을 나눈다”는 한 문장으로 묶이지만, 실제로는 레이어·텐서·전문가라는 세 가지 축이 있어요. 나누는 대상이 다르면 주고받는 데이터 양과 횟수가 달라지고, 그 차이가 “집에 있는 기기로 되는가”를 결정해요. 계산으로 확인했어요.

모델 하나가 한 기기에 안 들어갈 때 선택지는 세 가지예요. 레이어를 나눠 순서대로 넘기거나, 한 층의 계산을 쪼개거나, 전문가를 나눠 갖는 것이죠. Mesh LLM 같은 도구는 이 중 하나를 자동으로 골라 주고, colibrì와 TurboFieldfare는 아예 다른 축(디스크)을 써요.

세 축을 같은 잣대로 재면 판단이 쉬워져요. 잣대는 토큰 하나에 무엇이 얼마나 오가는가예요. 통신량과 통신 횟수를 알면, 어떤 구성이 집에서 되고 어떤 구성이 데이터센터 전용인지 계산으로 갈라져요.

세 가지 축

먼저 세 단어만 정리하고 갈게요.

  • 활성값(activation): 한 층을 지나며 계산된 숫자 묶음이에요. 모델이 다음 층으로 넘기는 “중간 결과”예요.
  • 집합 통신(all-reduce): 여러 기기의 계산 결과를 모아 하나로 맞추는 작업이에요. 모두가 같은 값을 갖도록 주고받아요.
  • 토큰: 모델이 한 번에 처리하는 텍스트 한 조각이에요. “초당 토큰 수(tok/s)“는 곧 말하는 속도예요.
방식 무엇을 나누나 토큰당 통신
레이어 분할 (파이프라인) 층 구간을 기기별로 (0~30층, 31~60층…) 경계마다 활성값 1회
텐서 병렬 한 층의 행렬을 기기별로 쪼갬 층마다 집합 통신 2회
전문가 분산 MoE 전문가 묶음을 기기별로 전문가 층마다 라우팅 2회

세 방식의 결정적 차이는 통신 횟수예요. 레이어 분할은 80층 모델에서 경계가 한 번이면 통신도 한 번이에요. 텐서 병렬은 층마다 기기들이 계산 결과를 맞춰야 해서 80층 × 2회, 즉 160번이 돼요. 전문가 분산은 MoE 층 수에 비례해요.

계산 — 같은 20 tok/s를 목표로 놓고

가정을 하나 고정하고 계산해 봤어요. 은닉 차원 8,192, bf16(2바이트), 80층, 목표 속도 20 tok/s예요. 활성값 하나는 8,192 × 2 = 16KB고, 이건 모델 크기와 무관하게 고정이에요.

레이어 분할 (경계 1회, 기기당 연산 50ms 가정)

링크 지연 예상 속도 필요 대역폭
0.5ms 19.8 tok/s 0.33 MB/s
5ms 18.2 tok/s 0.33 MB/s
20ms 14.3 tok/s 0.33 MB/s

지연이 40배 늘어도 속도는 30% 정도만 떨어져요. 대역폭은 초당 0.33MB — 사실상 아무 부담이 없어요. 그래서 레이어 분할은 평범한 LAN에서도, 심지어 원격 릴레이를 거쳐도 굴러가요.

텐서 병렬 (2대, 층마다 2회 통신)

링크 지연 이론 상한 필요 대역폭
0.005ms (NVLink급) 1,250 tok/s 52 MB/s
0.1ms 62.5 tok/s 52 MB/s
1ms 6.3 tok/s 52 MB/s
5ms 1.3 tok/s 52 MB/s

같은 5ms 링크에서 레이어 분할은 18 tok/s, 텐서 병렬은 1.3 tok/s예요. 통신량은 160배인데 대역폭은 여유가 있어요. 즉 막는 것은 대역폭이 아니라 왕복 지연이에요.

전문가 분산 (MoE 40층, 라우팅 2회씩 = 80회)

링크 지연 이론 상한
0.1ms 125 tok/s
1ms 12.5 tok/s
5ms 2.5 tok/s

텐서 병렬과 레이어 분할 사이에 놓여요. 전문가를 기기별로 묶으면 통신 횟수를 줄일 수 있지만, 토큰마다 라우터가 다른 기기를 부르면 그만큼 왕복이 늘어나요.

링크별로 무엇이 가능한가

위 표의 “링크 지연”이 추상적이니 실제 매체로 바꿔 볼게요.

연결 왕복 지연(대략) 대역폭 가능한 방식
같은 보드 GPU 직결 (NVLink) 10~20µs 1TB/s급 텐서 병렬
같은 보드 (PCIe 5.0) 20~50µs 64GB/s급 텐서 병렬
같은 스위치 (25~100GbE) 0.1~0.3ms 3~12GB/s 텐서 병렬(소형) · 전문가 분산
같은 방 (10GbE·WiFi 6) 1~5ms 1GB/s 이하 레이어 분할
인터넷 경유 (릴레이) 20~100ms 가변 레이어 분할 + 느긋한 사용

숫자를 보면 왜 데이터센터 GPU가 NVLink로 이어지는지, 왜 집에서 텐서 병렬을 포기하는지가 같은 이유로 설명돼요. 왕복 지연이죠.

텐서 병렬의 통신은 정확히는 층 수 × 2 × 활성값 크기를 링 대역폭으로 나눈 시간에, 왕복 지연 × 통신 횟수를 더한 값이에요. 통신량 자체는 20 tok/s 기준 초당 52MB로 10GbE에서도 충분히 소화돼요. 그런데 160번의 왕복이 5ms씩 걸리면 800ms가 되어 초당 1.3토큰이 상한이 돼요. 대역폭은 넉넉하고 지연이 모자란다는 게 이 계산의 결론이에요.

레이어 분할에서도 손실은 있어요. 파이프라인이라는 이름처럼, 앞 단계가 계산하는 동안 뒤 단계는 기다려요. 두 대로 나누면 처리량은 대략 절반이 아니라 “느린 쪽 한 대 + 통신”으로 정해져요. 기기 성능이 비슷하면 대당 처리량은 오히려 늘지만, 첫 토큰이 나오는 시간은 두 배 가까이 늘어나요. 이 차이 때문에 대화형 사용에서는 체감이 다르게 느껴져요.

또 하나, 사전 처리(prefill)와 생성(decode)의 성격이 달라요. 긴 프롬프트를 한꺼번에 처리하는 prefill은 계산이 병목이고, 한 토큰씩 만드는 decode는 메모리와 통신이 병목이에요. 그래서 분산 구성이 느리게 느껴질 때는 대개 decode 쪽이에요. 위 표도 decode 기준이에요.

실측과 맞대 보기

Mesh LLM 문서에 남은 측정 하나가 이 계산과 잘 맞아요. 4×96GB 노드와 48GB 노드를 약 5ms 경로로 묶고 자동 배치했을 때, 짧은 요청이 14.98 tok/s로 완료됐어요. 레이어 분할 계산에서 5ms 지연이면 18 tok/s 수준이니, 같은 자릿수예요. 실제 시스템은 연산과 통신을 겹쳐서 돌리기 때문에 단순 계산보다 유리한 구간도, 불리한 구간도 있어요 — 위 표는 상한을 보는 1차 근사로 읽어야 해요.

그리고 문서는 같은 자리에서 경고도 남겨요. 자동 배치가 균형을 잃으면(한쪽에 65층 몰림) 연산 작업 공간만 589GiB까지 커졌다고요. 분산은 어디를 자르느냐가 성능을 좌우한다는 뜻이에요.

헷갈리기 쉬운 구분 — 디스크는 분산이 아니다

이 블로그에서 다룬 두 프로젝트는 이름은 비슷해도 축이 달라요.

  • colibrì: 한 기기 안에서 GPU(핫)·RAM(웜)·NVMe(콜드)로 계층을 나눠요. 나누는 상대가 디스크예요.
  • TurboFieldfare: 한 기기에서 전문가를 SSD에서 스트리밍해요. 역시 디스크.
  • Mesh LLM: 나누는 상대가 다른 컴퓨터예요. 이 글의 주제.

디스크는 지연이 밀리초~수십 밀리초지만 대역폭이 GB/s급이에요. 네트워크는 지연이 마이크로초~수 밀리초지만 대역폭이 MB/s~GB/s예요. 그래서 디스크 쪽은 “토큰당 몇 GB를 읽어도 되게” 설계하고(전문가 단위), 네트워크 쪽은 “토큰당 몇 KB만 주고받게” 설계해요(레이어 경계). 무엇을 나누느냐보다 무엇이 오가는지를 먼저 보면 어느 쪽 설계인지 바로 보여요.

실무 판단 세 문항

  1. 모델이 한 기기에 들어가는가? 들어가면 분산은 손해예요. 이득 없이 지연만 붙어요.
  2. 링크 지연이 1ms 아래인가? 그렇다면 텐서 병렬도 선택지예요. 5ms 이상이면 레이어 분할이나 전문가 분산만 현실적이에요.
  3. MoE인가? MoE라면 전문가 분산이 토큰당 통신을 줄일 여지가 있어요. 덴스 모델이면 레이어 분할이 답이에요.

집에 있는 기기로 큰 모델을 돌리는 시도가 대부분 레이어 분할로 수렴하는 이유가 여기 있어요. 값싼 하드웨어에서 가장 관대한 방식이거든요.