
5억 홈랩, 병목은 돈이 아니었다
한 줄 요약: H200 8장(VRAM 564GB)에 5억원 이상을 쓴 개인 홈랩 기록을 숫자로 다시 계산했어요. 같은 4장에서 엔진 튜닝으로 49~61%를 더 뽑았고, 100억 토큰을 8시간에 통과시켰고, 정작 먼저 죽은 건 모델이 아니라 게이트웨이였어요.
먼저 용어 몇 개만 풀게요.
- VRAM: 그래픽카드에 붙은 전용 메모리예요. 모델이 여기 올라가면 빠르고, 넘치면 램이나 디스크로 밀려 느려져요.
- KV 캐시: 앞서 처리한 내용을 다시 계산하지 않으려고 저장해 두는 공간이에요. 긴 입력일수록 커져요.
- 배치(동시 처리): 여러 요청을 한꺼번에 묶어 GPU에 밀어 넣는 방식이에요. 개별 속도는 그대로지만 초당 처리량이 크게 올라가요.
- tok/s: 초당 토큰 수, 곧 말하는 속도예요.
AI를 크게 돌리려면 무엇이 필요할까요. 장비일까요, 방법일까요. 최근 한 개인의 홈랩 기록이 이 질문에 5억원으로 답했어요. 금액이 커서 실감이 안 가지만, 숫자를 하나씩 뜯어보면 돈을 어디에 써야 하고 어디에 쓰면 안 되는지가 꽤 선명하게 보여요. 이 글은 그 기록의 수치를 정리하고, 제가 직접 계산해 본 것들을 덧붙인 정리예요.

무엇을 샀나
글쓴이는 월가에서 퀀트로 일하다 그만두고, 회사 다니며 모은 돈으로 장비를 샀어요. 모두 본인 자기 보고예요.
| 항목 | 내용 |
|---|---|
| GPU | H200 8장 (VRAM 141GB × 8 = 1,128GB) |
| 매입 단가 | 장당 5,000만원(4장) + 5,500만원(4장, 웃돈) |
| GPU 매입액 | 약 4억 2천만원 |
| 총 구축비 | 5억원 이상 (CPU·RAM·조립·IDC 포함) |
| 현재 시세 | 8억원 이상 (본인 추정) |
결정 근거는 단순했어요. “남의 돈으로 클라우드에 몇억씩 써본 입장에서, 이 정도로 돌릴 거면 직접 구축하는 게 훨씬 싸다”는 판단이었죠. 여기에 HBM 가격은 올랐는데 H200 가격은 제자리라는 관찰이 붙었고, 실제로 몇 달 뒤 장당 7,000만~8,000만원이 되면서 그 판단은 들어맞았어요.
여기서 계산을 하나 해볼게요. 손익분기입니다 — 얼마나 써야 클라우드보다 싸지는지예요. GPU 매입액 4억 2천만원을 3년(26,280시간)으로 나누면 시간당 약 1만 6천원이에요. 즉 4장을 3년 쓸 거라면 클라우드에서 4장을 시간당 1만 6천원 이하로 빌릴 수 있는지가 기준이 돼요. 이 계산에는 전기·IDC·교체 비용이 빠져 있어서 실제 문턱은 더 올라가요. 그런데 이 사례는 하드웨어 가격까지 올라서 감가 대신 평가차익이 생긴 예외적인 케이스예요. 지금 다시 계산하면 결론이 달라질 수 있어요.
돈으로 산 것과 방법으로 번 것
장비를 켠 다음에 남은 성과가 더 흥미로워요.
먼저 튜닝. 같은 GLM 계열 모델을 H200 4장에서 돌리되, 추론 엔진(SGLang)을 자기 사용 패턴에 맞게 고쳐서 1K~256K 입력 구간의 응답 생성 속도를 49~61% 끌어올렸어요. 글쓴이 표현대로 “GPU 4장 그대로, 성능을 비례 환산하면 H200 2장어치를 더 짜낸” 셈이에요.
이게 중요한 이유는 지출과 성과가 비례하지 않는다는 점이에요. 5억을 쓴 뒤에도 성과의 절반은 소프트웨어에서 나왔어요. 게다가 목표가 처리량이 아니라 낮은 동시성에서의 지연이었다는 점도 실무적이에요. “수백 명한테 나눠줄 처리량보다 내 요청 하나가 덜 기다리는 게 중요”하다는 판단이죠.
다음은 규모 실험. 12일간 에이전트 세션 712개(서브에이전트 203개), 6만 턴, 151억 토큰을 돌렸어요. 하루에 297개 세션을 돌린 날도 있었고요. 그리고 80만 토큰짜리 긴 입력으로 KV 캐시를 가득 채운 뒤 짧은 요청을 병렬로 계속 보내, 8시간 만에 100,102,548,774 토큰을 통과했어요.
이 숫자를 초당으로 바꾸면 약 348만 토큰/초예요. H200 4장이니 GPU 한 장당 87만 토큰/초. 모델이 그만큼 빨라서가 아니라, 요청을 한꺼번에 얼마나 잘 묶었느냐의 결과예요. 한 사람이 읽는 속도와, 인쇄기가 하루에 찍는 장수를 비교하는 것과 비슷해요. 생성 속도가 아니라 처리량을 재는 실험이었던 거죠.
진짜 병목은 어디서 터졌나
가장 값진 대목은 실패 기록이에요. 1,001억 토큰을 밀어붙이는 과정에서 모델이 아니라 앞단 게이트웨이가 먼저 메모리 부족으로 죽었어요. 요청 본문을 들고 있는 쪽이 못 버틴 거예요. 그래서 프록시 메모리 한도를 그 사용 패턴에 맞게 다시 잡았고요.
또 하나. 커널을 계속 깎아도 원하는 결과까지 그만큼 빨라지지 않았어요. 기록은 이렇게 적어요.
모델 입에서 답은 빨리 나오는데, 손발이 일을 끝내고 돌아오는 걸 기다리고 있는 거임.
그래서 다음 병목을 도구 호출과 실행, 결과 전달로 옮겨 잡았어요. 이건 분산 추론 글에서 계산한 것과 같은 구조예요. 생성 속도를 아무리 올려도 왕복 지연이 남으면 전체 시간은 그만큼 남아요. GPU를 늘려도 왕복은 줄지 않아요.
그리고 이 기록에서 가장 인상적인 문장은 성능표가 아니라 이거였어요.
토큰을 아무리 태워도, 언어학적 특성을 내가 기술하기 전까지는 그 말투가 안 나왔음. 그 인사이트 하나가 H200 8장보다 말투에 더 크게 작용했음.
정리 — 순서가 중요하다
이 기록에서 뽑아 쓸 만한 순서는 이래요.
- 병목에 이름을 붙인다 — 생성 속도인지, 도구 실행인지, 판단인지.
- 소프트웨어로 먼저 짜낸다 — 같은 4장에서 49~61%가 나왔어요. 장비 증설은 그다음 카드예요.
- 처리량과 지연을 구분한다 — 8시간 1,001억 토큰은 처리량 실험이고, 튜닝의 목표는 지연이었어요. 둘은 다른 최적화예요.
- 앞단을 의심한다 — 게이트웨이·프록시가 먼저 죽는 일은 흔해요. 모델이 느린 게 아닐 수 있어요.
- 판단이 마지막 병목 — 장비는 시간을 사 주지만, 무엇을 시킬지와 결과를 판정하는 일은 사 주지 않아요.
글쓴이의 결론도 여기예요. “리소스가 없으면 뒤처지는 건 맞지만, 리소스만 있으면 된다는 건 아니었다.” 5억을 태운 사람이 남긴 이 문장이 이 기록의 값어치라고 생각해요.
- 원문: 상사가 “AI 못 쓰면 하층민 될 것 같냐”고 묻길래 홈랩에 5억 태워봤음 — 개인 경험 기록이며 수치는 본인 보고예요
- 튜닝 대상 엔진: github.com/sgl-project/sglang (Apache-2.0)
- 관련 글: 분산 추론은 무엇을 나누는가 · 양자화는 텐서마다 비트를 다르게 준다