생각을 정리하는 마인드맵, 풀맵 →
기술 딥다이브

남는 기기 모아 70B 돌리기, Mesh LLM


한 줄 요약: 서버실 GPU 없이도 큰 모델을 돌린다는 Mesh LLM은, 여러 기기의 메모리를 메시(그물)로 묶어 하나의 OpenAI 호환 API로 제공하는 Rust 프로젝트예요. 한 기기에 맞으면 로컬, 안 맞으면 라우팅, 아예 크면 레이어 분할 — 세 단계의 판정 흐름과 실측 수치를 확인했어요.

결론부터 말하면, 전용 GPU 없이 70B급 모델을 돌리는 길이 하나 더 생겼어요. Mesh LLM은 여러 기기의 메모리를 메시(그물)로 묶어 하나의 OpenAI 호환 API로 내주는 Rust 프로젝트예요. 데스크톱엔 부족한 GPU, 방에 잠든 오래된 노트북·미니 PC를 묶는다면 한 대의 기기 한계를 넘을 수 있어요. 문서를 직접 대조하면서 원리와 실측 한계까지 정리했어요.

세 단계 판정 — 로컬 · 라우팅 · 분할

Mesh LLM의 핵심은 하나의 엔드포인트 뒤에서 세 가지를 자동으로 골라내는 거예요. 모든 노드가 동일한 OpenAI 호환 API(http://localhost:9337/v1)를 노출하고, 클라이언트는 이 주소만 보면 돼요.

  1. 한 기기에 맞으면: 그대로 로컬 서빙. 네트워크 트래픽 없어요.
  2. 혼자는 부족하지만 어딘가에 맞으면: 요청을 그 모델을 돌릴 수 있는 피어로 라우팅. model 필드 기준으로 골라요.
  3. 어느 한 기기에도 안 맞으면: “스킵 스테이지 스플릿”으로 레이어를 나눠 놓아요.

스킵 스플릿 — 레이어 쪼개기의 원리

분할 실행은 순서가 명확해요. 코디네이터가 모델·레이어 패키지를 찾고, 토폴로지 플래너가 피어별로 연속된 레이어 구간을 배정해요. 다운스트림(출력 쪽) 스테이지부터 띄우고 전부 준비되면 stage-0가 라우팅 가능 상태가 돼요. 레이어 패키지 저장소에 model-package.json과 GGUF 조각이 있어서, 각 피어는 자기 몫만 받아요.

이전 글에서 짚은 TurboFieldfare의 SSD 스트리밍도 “다 안 올리는” 발상이라면, Mesh LLM은 그 상대를 다른 기기로 바꾼 버전이에요. 레이어를 SSD에서 대신 다른 기기에서 읽어 오죠. TurboFieldfare가 한 기기의 여유 공간을 활용한다면 이쪽은 방 안 장비 전체를 활용해요.

연결과 안전 — 왜 이 구조가 성립하나

분산 추론의 진짜 관문은 속도보다 신뢰예요. Mesh LLM은 노드 간 트래픽을 QUIC로 종단 간 암호화해요. 추론 요청·응답·분할 모델의 액티베이션까지 모두고, Iroh 릴레이는 암호화된 패킷을 읽지 않고 전달만 해요. 공개 메시를 열어 놓을지(Nostr discovery), 초대 토큰으로 프라이빗 메시를 유지할지는 운영자 선택이에요.

또 하나: 아키텍처 인증 게이트. 분할 시작은 모델의 GGUF 아키텍처가 공식 검증 명단에 있어야 해요. 없으면 실패로 끝내고(개발시 --allow-uncertified-split으로 명시적 예외), 아티팩트 무결성은 SHA-256 다이제스트로 확인해요.

실측 — 숫자와 한계

내부 기록에 남은 이력예요. 4×96GB 노드 + 48GB 노드를 약 5ms Iroh/QUIC 경로로 묶은 자동 배치에서, 짧은 요청이 14.98 tok/s로 완료됐어요. 다만 같은 기록이 솔직한 한계도 남겨요:

  • 자동 배치가 항상 최적은 아니에요. 균형 깨진 구간(65레이어가 한쪽에 몰림)에서 CUDA 작업 공간만 589GiB까지 커져요. 패키지 바이트와 VRAM만 보고 호스트를 잡으면 안 되는 이유예요.
  • 동시 처리와 캐시 미스는 아직 검증 공백(active validation gap)으로 표시돼요.
  • 긴 컨텍스트 콜드 요청은 스트리밍을 권해요 — 프리필이 프런트엔드 타임아웃(300초)을 넘기기도 해요.

Mesh LLM 리포 — Rust, 별 3.6천, Apache 2.0

쓰려면

설치는 한 줄이에요.

curl -fsSL https://raw.githubusercontent.com/Mesh-LLM/mesh-llm/main/install.sh | bash
mesh-llm setup
mesh-llm serve --auto   # 공개 메시 체험

Windows도 PowerShell 한 줄(irm .../install.ps1 | iex), macOS는 Homebrew formula가 있어요. CUDA 12·13, Apple Silicon, CPU까지 플랫폼 매트릭스가 제공돼요. 에이전트 연결 명령(mesh-llm claude 같은)도 준비돼 있어요.

정리

“내 GPU가 부족하다”라는 전제가 바뀌는 이유는 간단해요 — 보통 집에 여러 기기가 있고, 그중 한 대만 부족한 경우가 흔하거든요. Mesh LLM은 부족한 부분을 라우팅·분할로 메우는 방법이에요. 70B급 모델을 전용 GPU 없이 돌린다는 발표를 만나면, 이제 “어디 분산을 어느 계열로 할까”가 먼저 질문이 되면 좋겠네요. 극저 메모리 한 기기(SSD 스트리밍)는 TurboFieldfare, 기기 여러 대는 이쪽이에요.