80B 모델을 RAM 4.3GB로 돌리는 원리
한 줄 요약: Swiftlet은 MoE 모델이 토큰 하나당 3B 파라미터만 발화한다는 성질을 이용해, 80B 모델의 42GB 가중치를 SSD에 두고 필요한 전문가만 스트리밍해 RAM 4.3GB로 구동하는 Apple 전용 오픈소스 런타임이에요.
rupayanism님의 릴스가 이런 문장으로 시작해요. “80B 모델. RAM 4.3GB. 노트북이 문제였던 적이 없었다.” 다크 배경에 초록 숫자가 번쩍이는 이 슬라이드의 주인공은 Swiftlet이라는 오픈소스 런타임이에요. 80B(800억 파라미터)짜리 모델을 RAM 4.3GB에서 돌린다는 선전 포스 같은 주장인데, 저장소를 직접 확인해 보면 실재하는 프로젝트예요. 반응은 스크린샷 기준 좋아요 85개에 댓글 74개, 그리고 캡션은 “댓글에 SWIFT라고 달면 세팅법을 보내준다”로 끝나네요. 댓글 게이트는 빼고, 슬라이드에 공개된 내용을 그대로 정리해 보겠어요.
들어가는 것과 도는 것은 달라요
먼저 캡션의 이 문장이 모든 걸 요약해요. “4.3GB에 들어가는 게 아니다. 4.3GB로 도는 거다.” 80B 모델의 가중치(모델의 학습 결과물)를 4bit로 양자화하면 디스크에 42GB가 돼요. 이건 RAM에 다 올라가지 않아요. Swiftlet의 접근은 이 42GB를 통째로 옮기는 대신, SSD에 둔 상태로 토큰(글자 조각)을 하나 처리할 때 필요한 조각만 꺼내 쓰는 것이에요.
비유는 이 블로그가 늘 쓰는 그것이에요. MoE(전문가 혼합) 모델은 두뇌 전체 중 지금 깨어 쓰는 부분만 활성화되는 구조인데, 이 모델은 토큰 하나당 약 3B 파라미터만 발화해요. 80B 중 3B라는 얘기예요. 그리고 RAM은 컴퓨터의 작업대죠. Swiftlet은 작업대에 책장 전체를 올리지 않고, 작업대에는 자주 쓰는 작은 핵심(밀집 코어)만 상주시키고 나머지 전문가 두뇌는 서고(SSD)에 뒀다가 그 순간 필요한 페이지만 가져오는 방식이에요. 슬라이드의 표로 보면 이래요. 밀집 코어 4.3GB는 메모리에 항상 상주, 라우팅되는 전문가 38GB는 SSD에서 필요할 때 몇 개만, 실제로 발화하는 것은 토큰마다 약 3B.
세 가지 실행 옵션
슬라이드는 세 가지 조합을 제시해요. M5 맥 기준 수치예요.
| 모델 | 디스크 | 최대 RAM | 속도 |
|---|---|---|---|
| 35B 4-bit | 18 GB | 2.6 GB | 초당 7~11 토큰 |
| 35B 8-bit | 34 GB | 7.6 GB | 초당 3.5~4 토큰 |
| 80B 4-bit | 42 GB | 4.3 GB | 초당 4.5~5 토큰 |
흥미로운 지점은 35B 8-bit(7.6GB)보다 80B 4-bit(4.3GB)가 RAM을 덜 먹는다는 사실이에요. 전체 크기가 아니라 활성 파라미터가 속도와 메모리를 결정한다는 원리가 그대로 드러나요. 저장소 README에는 더 극단적인 사례도 있어요. 64GB 맥에 원본이 아예 올라갈 수 없는 8-bit 80B(78.8GiB)를 6.9GiB RAM으로 초당 4.8토큰으로 서빙했고, 4-bit 397B 모델(207.6GiB)도 12.6GiB로 돌렸다는 것. 반대로 저사양 기준점으로 기본 M1에서는 4-bit 35B가 초당 2.45토큰이에요.
잘 쓰고, 덜 알아요
다만 트레이드오프도 슬라이드에 정직하게 적혀 있어요. 네 가지 주의사항을 요약하면 이래요. 첫째, Apple Silicon 전용이에요. 인텔 맥도, 윈도도, 리눅스도 안 돼요. 둘째, RAM이 아니라 디스크가 커야 해요. 80B는 여유 42GB. 셋째, “잘 쓰고 덜 압니다(writes big, recalls small).” 토큰마다 3B만 발화하기 때문에 추론이나 글쓰기는 큰 모델처럼 잘하지만, 머리에 저장된 지식은 작은 모델 수준이라는 뜻이에요. 캡션은 이걸 버그가 아니라 설계라고 표현해요. 넷째, 속도는 기대보다 느려요. 80B 기준 초당 4.5토큰, 아이폰에서는 약 1토큰. 긴 글을 실시간으로 뽑아 내는 속도는 아니에요.
무엇으로 만들었나
Swiftlet은 Swift와 Metal(애플의 GPU 기술)로 짜인 런타임이에요. 대상 모델은 알리바바 퀸웬의 MoE 하이브리드 계열, 정확히는 Qwen3-Next-80B-A3B와 Qwen3.6-35B-A3B예요. 이름 뒤의 A3B가 ’활성 3B’라는 뜻이에요. 라이선스는 Apache 2.0, 2026년 8월 3일에 공개돼 약 7주 만에 스타 638개를 받았고, macOS 14와 iOS 17 이상에서 돌아가 아이폰에서도 구동돼요. 앱스토어에 이 런타임을 쓰는 앱도 올라와 있고, 재미있게도 저장소 배지에는 ’Claude Code로 제작’이 붙어 있어요.
RAM을 늘리는 것과 서고를 두는 것
이 접근이 재미있는 이유는, 예전에 다룬 애플 통합 메모리 이야기와 정반대 방향이기 때문이에요. 통합 메모리 이야기가 ’작업대를 넓혀서 큰 모델을 올린다’였다면, Swiftlet은 ’작업대는 작은 채로 두고 서고에서 필요한 장만 대여한다’예요. 64GB 맥으로도 감당 안 되는 397B가 12.6GB로 돌아간다는 건 이 방식의 상한선이 아직 안 보인다는 뜻이기도 해요. 속도의 한계와 ’덜 안다’는 성질을 감수하면, 노트북 사양을 올리지 않고도 큰 모델을 집에서 굴리는 선택지가 하나 더 생긴 거예요. 노트북이 문제였던 적이 없다는 문장은 과장이 아니라, 문제를 RAM 크기에서 데이터 배치로 옮겨 놓았다는 뜻이었어요. 댓글에 SWIFT를 달 필요는 없어요. 세팅법 전부가 GitHub 저장소에 공개돼 있으니까요.
이 글의 내용은 아래 자료를 기준으로 확인했어요.