생각을 정리하는 마인드맵, 풀맵 →

원본 릴스 보기

릴스 해설

그래픽카드 없이 744B 모델을 돌리는 colibrì

한 줄 요약: 오픈소스 colibrì는 744B MoE 모델에서 토큰당 실제로 쓰이는 몫만 램에 두고, 나머지 전문가들은 하드디스크에서 그때그때 읽어 오는 방식으로 그래픽카드 없는 노트북에서도 대형 모델을 돌릴 수 있게 해줘요.

@shortpick_lab의 릴스예요. 까만 배경에 별처럼 흩뿌려진 점들이 “노트북이”라는 글자 위에 퍼져 있고, 작은 캐릭터가 코드 화면을 올려다봐요. 캡션은 그래픽카드 하나 없는 노트북이 744B(칠천사백사십억) 개짜리 모델을 돌렸다는 소식이에요. 주인공은 오픈소스 추론 엔진 colibrì로, 저장소에서 직접 확인했어요. 2026년 7월에 처음 공개된 이 프로젝트는 Apache-2.0 라이선스로 공개돼 있고, 발행 시점 기준 별 3만 6천여 개를 받았어요. 인상적인 건 캡션의 태도예요. “유료 모델보다 좋다” “이제 그래픽카드가 필요 없다” “빠르다” 같은 저장소 문서에 없는 표현은 일부러 뺐다고 적고, 대신 저장소가 스스로 인정한 한계까지 옮겼어요. 그 한계와 원리를 차례로 풀어 보겠어요.

744B 중 깨어 있는 40B

모델 이름에 붙은 MoE(Mixture of Experts, 전문가 혼합)는 이 이야기의 출발점이에요. MoE 모델은 두뇌 전체 중 지금 깨어 쓰는 부분만 활성화하는 구조로, GLM-5.2는 전체 744B 중 토큰 하나를 처리할 때 약 40B만 깨어요. 모델 안에는 전문가가 19,456개 있는데, 각 MoE 층마다 라우터라는 관리자가 지금 들어온 내용에 어울리는 전문가를 골라 부르는 방식이에요. 이 라우터의 선택이 토큰마다 달라지니, 물리적으로는 744B가 통째로 있어도 동시에 깨어 있는 것은 항상 일부분이라는 게 핵심이에요.

여기서 colibrì의 계산이 시작돼요. 깨어 있는 40B 중에서도 토큰이 바뀔 때마다 달라지는 몫은 라우팅되는 전문가들이고, 그 용량은 int4 기준 약 11GB예요. 반대로 말하면 나머지는 그 자리에 늘 있을 필요가 없다는 뜻이기도 해요.

램에 두는 몫, 하드의 몫

컴퓨터의 램은 프로그램이 지금 일하는 내용을 올려 두는 작업대예요. 작업대는 넓을수록 좋지만 그만큼 비싸고, 744B 모델을 int4(가중치 하나를 4비트 정수로 표현해 담는 양자화)로 줄여도 통째로는 372GB라 램에 못 올라요. colibrì의 답은 “못 올리면 올릴 생각을 버리자”예요. 모델을 두 조각으로 나눕니다.

어텐션, 공유 전문가, 임베딩 같은 고정 몫(약 17B)은 int4로 눌러 약 9.9GB로 만들어 램에 늘 두고, 나머지 라우팅 전문가 19,456개는 하나가 약 19MB씩, 합쳐서 약 370GB를 하드에 눕혀 둬요. 그리고 라우터가 부른 전문가만 필요할 때마다 하드에서 읽어 와요. 저장소는 이 설계를 “가중치를 위한 JIT(저스트 인 타임)“라고 소개해요. 컴파일러의 JIT가 프로그램 전체를 미리 기계어로 바꾸지 않고 실제로 도는 경로만 그때그때 바꾸듯, colibrì는 전문가를 미리 올려 두는 상태가 아니라 필요가 증명될 때 적재하는 데이터로 다룬다는 뜻이에요.

중요한 원칙이 하나 숨어 있어요. 전문가가 램에서 오든 하드에서 오든 라우터의 선택과 가중치 값은 하나도 안 바뀐다는 것. 어디에 두느냐는 속도만 정하고, 모델이 내놓는 토큰은 그대로라는 거예요.

속도 보장은 없다, 정확성만 있다

이 프로젝트가 솔직한 이유는, 저장소 문서가 스스로 “속도에 대한 보장은 없다(no SLA on speed), 대신 모델 의미는 절대 조용히 바꾸지 않는다”고 못 박았기 때문이에요. 램이 부족하면 빨라지지는 않아도 출력이 달라지지는 않게 만들었다는 원칙이에요. 실측 숫자도 정직해요. 원래 개발 박스였던 25GB 노트북에서 콜드 스타트는 초당 0.05~0.1토큰, 이건 저장소가 말하는 “이 프로젝트의 출발점이자 여전한 정직한 바닥”이에요. 램 128GB짜리 CPU 데스크톱에서 캐시가 따뜻해지면 초당 1.8토큰 정도고, 전문가 전체를 그래픽카드에 올린 여섯 장짜리 RTX 5090 구성에서도 초당 5.8~6.8토큰이에요.

릴스 캡션은 이 실측을 그대로 싣고 “빠르다”라는 말을 뺐다고 밝혀요. 대형 모델을 개인 기기에서 돌린다는 이야기가 보통 화려하게 포장되는 걸 생각하면, 반대 방향으로 가는 홍보라 더 믿을 만해요. 병목이 어디냐고 물으면 답도 나와 있어요. 디스크예요. 하드에서 전문가를 읽어 오는 속도가 사실상 전체 속도를 결정해요.

쓸수록 빨라지는 캐시

그럼 항상 바닥 속도냐면, colibrì는 빨라지는 방법도 내장하고 있어요. 첫째는 학습 캐시예요. 엔진이 내 워크로드가 어떤 전문가를 자주 부르는지 기록해 두고(사용 기록 파일이 매 턴 갱신돼요) 자주 쓰는 전문가를 램에 고정해 둬요. 문서의 표현을 빌리면 “colibrì는 쓸수록 빨라진다”는 거예요. 둘째는 미리 읽기예요. 라우터의 선택은 한 층 앞까지 측정상 71.6% 예측 가능하다는 게 저장소의 실측이라, 다음 층이 부를 전문가를 현재 층이 계산되는 동안 미리 읽어 두어 기다림을 겹쳐 숨겨요.

셋째는 문맥을 싸게 유지하는 몫이에요. GLM-5.2의 어텐션은 MLA라는 압축 방식을 써서 토큰 하나당 문맥 상태를 원래 32,768개 실수에서 576개로, 57배 작게 저장해요. KV 캐시는 모델이 대화하는 동안 계속 들고 다니는 자주 쓰는 단어집인데, 두께가 줄면 문맥을 싸게 유지할 수 있어요. 이 압축 덕분에 램이 좁은 기기에서도 문맥 기억이 부담을 덜어요.

노트북에서 시작하는 방법

요구 사양을 저장소 문서 기준으로 정리하면 이래요. GLM-5.2 기준으로 모델 담을 디스크 약 372GB, 램은 최소 16GB(24GB면 편함), 그래픽카드는 불필요하고 있으면 빨라질 뿐이에요. 시작은 간단해서, Releases에서 플랫폼별 압축본을 받아 풀면 컴파일러 없이도 돌아가요(실행기와 API 게이트웨이는 Python 3를 필요로 해요). coli chat으로 대화하고, coli serve로 API 서버를 띄워요.

항목 저장소 문서 기준
디스크 약 372GB(빠른 SSD 권장)
램 최소 16GB, 24GB 권장
그래픽카드 불필요(선택 사항, 있으면 가속)
설치 Releases 압축본 해제(컴파일 불필요)

coli serve는 OpenAI 호환 API라서, 이미 다른 모델 API를 쓰던 코드는 주소를 http://127.0.0.1:8000/v1로 한 줄 바꾸면 그대로 돌아가요. 모델도 GLM 하나가 아니에요. 같은 명령으로 Inkling(975B), Kimi K3(2.8T), DeepSeek V4 Flash, Qwen, OLMoE까지 아홉 계열이 돌아가고, 처음 체험하려면 디스크 7GB에 램 8GB면 되는 OLMoE(7B)가 부담이 적어요.

마치며

프로젝트 이름 colibrì는 이탈리아어로 벌새예요. 몇 그램짜리 벌새가 하루에 천 송이 꽃을 찾아 다니듯, 이 엔진은 25GB 램과 열두 개 CPU 코어라는 벌새 몫의 재료로 744B짜리 거인을 살려 둔다고 저장소가 스스로 소개해요. 이 릴스의 표면은 “노트북으로 대형 모델 돌리기”지만, 밑바탕은 MoE의 선택적 활성화와 양자화, 디스크 스트리밍이라는 세 가지가 맞물린 시스템 설계예요. 느리다는 한계는 그대로 남아 있어요. 하지만 프론티어급 모델을 API로 빌려 쓰는 게 아니라 내 기기에 통째로 내려받아 뜯어보고 고칠 수 있다는 사실 자체가, 오픈 가중치 시대가 도래했다는 증거예요. 다음에 거대 모델 소식을 들으면, 그 모델의 전체 크기와 함께 “토큰당 깨어 있는 크기”를 같이 물어 보세요. 그게 램 요구량을 가르는 진짜 기준이에요.

출처