생각을 정리하는 마인드맵, 풀맵 →

원본 릴스 보기

릴스 해설

램 8GB로 2.78조 모델을 돌리는 176KB

한 줄 요약: 오픈소스 C 엔진 kimi-k3-in-c는 896개 전문가 중 토큰마다 필요한 16개만 SSD에서 읽어 오는 방식으로 2.78조 파라미터 Kimi K3를 램 8GB·GPU 0개에서 돌리고, 램을 늘려도 답은 같고 시계만 빨라져요.

한국어 AI 채널의 47초 영상이에요. 화면은 GitHub README 스크롤과 손그림 애니메이션으로 이루어져 있고, 캡션은 채널이 직접 실측한 수치 보고예요. 심지어 “저희가 만든 게 아니고 제휴도 없습니다”라고 이해관계까지 밝혀요. 사실 확인부터 하면, 저장소는 파키스탄 개발자 Fareed Khan 님의 FareedKhan-dev/kimi-k3-in-c로 오늘 기준 스타 8,634개(캡션의 8,393개는 9월 23일 기준 값), 라이선스 Apache-2.0이고, 공식 설명도 “2.78조 파라미터 모델을 CPU 하나, 램 8.24GB에서, 행렬 연산 라이브러리(BLAS)도 프레임워크도 GPU도 없이”라고 안내해요. 엔진 전체가 176KB라 화면의 표현대로 사진 한 장보다도 작아요. 이게 어떻게 가능한지 풀어 볼게요.

큰 모델이 램에 다 안 들어가면

Kimi K3는 MoE(Mixture of Experts) 모델이에요. MoE는 거대한 두뇌 전체 중 지금 깨어 쓰는 부분만 활성하는 구조예요. 이 모델의 경우 토큰 하나를 처리할 때 896개 전문가 중 16개만 고르고, 나머지 880개는 그 순간 쓰지 않아요. 그런데 전통적 방법은 그 전문가 전체를 램에 올려 두라고 요구해요. 전문가 가중치가 1.45TB라서 불가능하죠. 이 엔진의 발상은 단순해요. 전문가를 램이 아니라 SSD에 두고, 뽑힌 16개만 그때그때 읽어 오는 거예요. 램은 프로그램이 지금 일하는 내용을 올려 두는 작업대라면, SSD는 넓은 창고고, 필요한 상자만 창고에서 꺼내는 셈이에요. 자주 꺼내는 전문가는 LRU 캐시로 작업대에 남겨 두고, 오래 안 쓴 것부터 치운답니다. 이때 진짜 병목은 연산이 아니라 창고에서 꺼내는 속도, 즉 디스크 I/O예요.

네 가지 줄이기

README는 이 장치를 네 가지 줄이기로 설명해요. 첫째, 전문가 가중치는 이미 4비트(반 바이트)로 압축돼 배포되고, 엔진은 압축된 형태에서 곧장 계산해요. 둘째, KDA라는 어텐션 방식으로 대화가 길어져도 기억 상태가 부풀지 않아요. 셋째, MLA로 어텐션의 96개 머리를 하나의 잠재 표현으로 줄여요. 넷째, 93개 층의 밀집(dense) 트렁크를 하나의 109GB 파일로 묶어 필요한 층만 한 번씩 읽는 스트리밍이에요. 이 네 가지가 모여 5,560GB짜리 서버 클러스터 규모를 8.24GB 노트북까지, 약 675배 줄여서 끌어내려요. 순수 C99로, gcc 한 번으로 빌드되고, git clone 후 make 한 번이면 체크포인트 없이도 전체 테스트가 돌아가는 구조예요.

램을 늘리면 답이 바뀌나

이 릴스의 가장 놀라운 주장은 “8기가 노트북과 224기가 서버의 출력이 바이트 단위까지 똑같다”는 것인데, README도 같은 말을 해요. “같은 짧은 프롬프트를 모든 크기에서 돌리면 가장 작은 기계부터 가장 큰 기계까지 출력이 바이트 단위로 동일하다”고요. 이유는 커널이 고정된 부동소수점 계약 위에서 돌도록 짜여 있기 때문이에요. 하드웨어가 달라도 계산 순서가 같으면 결과 비트가 같아요. 그래서 램은 답을 바꾸지 않고 시계만 바꿔요. 표 기준으로 램 8GB 노트북은 토큰 하나에 26.5초(매 단계 모델 전체를 디스크에서 읽는 방식), 32GB면 24.2초, 64GB면 19.8초, 128GB 이상은 5.6초예요. 128GB부터는 모델이 통째로 램에 들어가 디스크 대기가 사라지니까요.

진짜 관문은 저장공간

캡션이 “진짜 관문은 램이 아니라 저장공간”이라고 못박은 것도 README와 일치해요. 요건표를 보면 저장공간 약 1.7TB(1.56TB 체크포인트 + 109GB 패킹 트렁크)가 첫 관문이고, CPU는 AVX2+FMA 지원이 필요해요(AVX-512는 불요). 램은 8GB 이상이면 모든 프리셋이 동작하고, OS는 리눅스 x86-64가 기준이지만 macOS/arm64와 윈도우도 빌드·검증을 통과해요. 체크포인트는 허깅페이스에서 받는데, 여섯 시간쯤 걸린다고 README가 미리 알려 줘요. 이 부분까지 포함하면 “초대형 AI를 돌린다”는 말의 실제 의미는 “빅데이터 파일을 다루듯 준비하고 아주 느리게 돌린다”에 가까워요.

라이선스와 한계

두 가지를 기억하면 좋아요. 첫째, 라이선스가 나뉘어 있어요. 엔진은 Apache-2.0이지만 모델 가중치는 허깅페이스 쪽 별도 라이선스라서, 상업 이용은 체크포인트 배포 페이지를 직접 확인해야 해요. 캡션도 같은 점을 강조하고 있어요. 둘째, 이 방식은 빠르기보다 검증에 가까워요. 토큰당 26.5초면 실시간 대화가 아니라, “이 규모의 모델이 정말 소형 기계에서 답을 내는가”를 확인하는 연구용 시연이에요. 반대로 말하면 답의 품질이 아니라 가능성의 증명이라는 뜻이고, 그래서 저장소가 “더 많은 램은 속도만 산다”는 문장을 표어처럼 내걸어요.

마치며

이 릴스의 요점은 “GPU 없이”가 아니라 “램 밖에 두고”예요. 2.78조 파라미터의 본체는 SSD에 있고, 램에는 지금 깬 16명의 전문가와 93층 트렁크의 읽힌 부분만 올라와 있어요. 클라우드 요금 없이 최대 모델을 만져 보고 싶은 사람에게는 저장공간 1.7TB와 느긋한 시계가 조건이고, 그 조건만 맞으면 노트북도 대형 모델의 문을 열어요. 다음에 “내 기계로는 불가능”이라는 말을 들으면, 이 엔진의 요건표부터 펼쳐 보세요. 관문은 생각보다 램이 아니라 창고 크기일 때가 많으니까요.

출처