
440MB 번역기, 1.25비트의 정체
한 줄 요약: 텐센트 Hy-MT2의 1.8B 번역 모델은 1.25비트 극한 양자화로 440MB(실측 파일 461.9MB)까지 줄었어요. 33개 언어를 오프라인으로 처리하고 명령형 번역(용어 고정·말투·구조 보존)까지 되는데, 440MB 안을 계산해 보면 가중치는 1.25비트, 임베딩은 약 7비트라는 혼합 구조가 나옵니다.
먼저 용어 몇 개만 풀게요.
- 파라미터: 모델 안의 숫자 개수예요. 1.8B면 18억 개고, “크기”의 기준이 돼요.
- 비트: 숫자 하나를 몇 칸으로 표현할지예요. 16비트는 정밀, 1.25비트는 아주 거칠게 담는 거예요.
- 임베딩: 단어를 숫자 벡터로 바꿔 두는 표예요. 언어가 많을수록 표가 커져요.
- 양자화: 이 숫자들을 낮은 비트로 눌러 파일을 줄이는 일이에요.
- 온디바이스: 서버 대신 내 기기에서 직접 계산하는 방식이에요.
번역 앱의 상식은 오래 “언어쌍별로 작은 모델을 따로 받는다”였어요. 한→영, 영→한처럼 쌍마다 모델이 있고, 언어를 추가하면 다운로드가 늘어나죠. 텐센트 Hy-MT2는 그 상식을 한 모델 462MB로 33개 언어라는 쪽으로 바꿔요. 어떻게 그 크기가 나오는지 계산으로 확인했어요.

무엇이 나왔나
Hy-MT2는 크기 세 가지로 나왔어요.
| 모델 | 형태 | 비고 |
|---|---|---|
| Hy-MT2-1.8B | 덴스 1.8B | 온디바이스용. 1.25비트 양자화 시 440MB |
| Hy-MT2-7B | 덴스 7B | 품질 우선 |
| Hy-MT2-30B-A3B | MoE 30B (활성 3B) | 서버급 |
- 33개 언어, 다국어 명령 수행(용어 지정, 말투, 구조 보존)
- Apache-2.0 라이선스, 기술 보고서 공개(arXiv 2605.22064)
- IFMTBench — 번역 지시 준수 능력을 재는 벤치마크를 함께 공개
- AngelSlim — 1.25비트 양자화 도구도 오픈소스
440MB의 정체 — 계산해 봤어요
모델 카드는 “1.25비트로 440MB”라고 해요. 그런데 실제 파일을 확인하니 461.9MB였어요(MiB 기준 440.5). 여기서 산수가 하나 걸려요. 1.8B 파라미터를 1.25비트로 담으면 1.8e9 × 1.25 ÷ 8 = 281MB여야 하거든요.
이 차이는 이삿짐을 싸는 방식으로 이해하면 쉬워요. 무거운 짐(가중치)은 진공압축팩으로 최대한 눌렀고, 깨지기 쉬운 그릇(임베딩)은 신문지로 감싸 남겨 둔 거예요. 트렁크(저장 공간)에는 둘 다 들어가야 하니까, 무엇을 얼마나 누를지가 핵심이죠.
차이를 만드는 건 임베딩이에요. config를 보면 어휘 크기가 120,818개, 은닉 차원이 2,048이에요. 임베딩 행렬 하나가 120,818 × 2,048 = 2억 4,740만 파라미터, 전체의 **13.7%**예요. 그리고 이 모델은 tie_word_embeddings: true라 입력·출력 임베딩을 공유해요.
임베딩 정밀도별로 총 크기를 계산해 보면 답이 나와요.
| 임베딩 정밀도 | 나머지 1.25비트일 때 총 크기 |
|---|---|
| 16비트 | 약 737MB |
| 8비트 | 약 490MB |
| 약 7비트 | 약 462MB ← 실제 파일 |
즉 가중치는 1.25비트로 극한까지 눌렀고, 임베딩은 약 7비트로 남겨 뒀어요. 왜일까요. 다국어 어휘는 33개 언어의 문자를 담고 있어서, 정밀도를 너무 낮추면 비라틴 문자·희귀 표기에서 글자가 깨져요. 반대로 크기 부담은 13.7%뿐이라, 여기를 지키는 게 품질 대비 효율이 좋아요.
이 배분은 물건마다 다른 완충재를 쓰는 포장과 같아요. 겉으로는 “1.25비트 모델”이라고 적혀 있지만, 실제 상자 무게는 포장재까지 포함한 값이에요.
이 계산은 실제로 쓸모가 있어요. “1.25비트 모델”이라고 광고해도 전체 파일은 2비트대라는 걸 알면, 폰에 넣을 때 필요한 저장 공간을 정확히 예측할 수 있어요.
왜 이게 판을 바꾸나
세 가지가 동시에 해결돼요.
- 언어를 추가해도 크기가 안 늘어요. 33개 언어가 한 모델 안에 있어요. 언어쌍별 모델을 33×32개 준비할 필요가 없죠.
- 업데이트가 한 번이에요. 모델 하나만 갱신하면 33개 언어가 같이 갱신돼요.
- 오프라인·프라이버시. 기기 안에서 처리하니 서버로 텍스트가 안 나가요. 비행기 모드에서도 되고요.
특히 실무에서 중요한 건 명령형 번역이에요. 모델 카드가 예시로 든 지시 유형을 보면 이래요.
- 용어 고정: “이 용어는 이렇게 번역해”를 미리 주고 일관성 유지
- 말투 지정: 격식·캐주얼 같은 스타일 강제
- 구분자 보존:
{},%s,{{var}}같은 표식을 번역하지 말고 그대로 - 구조 보존: JSON·마크다운의 키와 들여쓰기를 건드리지 않고 표시 문구만 번역
- 개인화: 사용자 선호를 여러 줄로 주고 반영
이건 “번역기”보다 번역 에이전트에 가까워요. 앱 안의 문구를 다국어로 뽑는 작업이라면, 이 기능이 있는지가 실질적인 선택 기준이 돼요.
성능 주장, 어디까지 믿을까
모델 카드의 주장은 이래요.
- 1.8B 경량 모델이 마이크로소프트·더우바오 같은 상용 API를 전반적으로 앞선다
- 7B와 30B-A3B는 DeepSeek-V4-Pro, Kimi K2.6을 패스트 싱킹 모드에서 앞선다
여기서 두 가지를 구분해야 해요. 첫째, 이건 개발사 자체 평가예요. 둘째, 평가에 쓴 IFMTBench도 자사가 만든 벤치마크예요. 물론 공개했으니 누구나 재현할 수 있다는 장점은 있어요. 다만 “자사 벤치마크에서 자사 모델이 1등”은 구조적으로 흔한 결과예요.
실무 판단은 이렇게 하는 게 안전해요.
- 내 도메인 문장 100개로 직접 비교 — 상용 API와 나란히 돌려 보는 게 가장 빠릅니다.
- 용어 일관성을 센다 — 번역 품질보다 브랜드 용어 오역이 실무 사고를 더 많이 냅니다.
- 구조 보존을 테스트 — JSON·마크다운 번역에서 키가 깨지면 파이프라인이 무너져요.
실행 방법
llama.cpp용 GGUF가 여러 정밀도로 나와 있어요. 1.25비트 극한판, 2비트판, 일반 GGUF까지요. 1.25비트는 저장 공간을 440MB로 줄이는 대신 추론 속도도 1.5배 좋아진다고 해요 — 읽는 바이트가 줄기 때문이에요. 이 원리는 디스크 스트리밍 글에서 계산한 것과 같아요. 속도는 대개 바이트 수에 반비례해요.
권장 파라미터도 카드에 명시돼 있어요 — temperature 0.7, top_p 0.6, top_k 20, repetition_penalty 1.05. 시스템 프롬프트는 기본으로 넣지 말라고 안내해요.
체크리스트
- 파일 크기로 정밀도를 검산한다 — 1.8B면 1.25비트 281MB, 2비트 450MB, 4비트 900MB. 462MB면 “가중치 1.25 + 임베딩 7비트” 조합이에요.
- 자체 평가는 재현한다 — 도메인 문장으로 직접 비교가 유일한 답이에요.
- 지시 준수 기능을 쓴다 — 용어·말투·구조 보존은 프롬프트로 명시해야 작동해요.
- 폰 메모리를 확인한다 — 저장 462MB와 실행 시 메모리는 달라요. KV 캐시 몫이 따로 필요해요.
- 라이선스를 본다 — Apache-2.0이라 상업적 사용 조건이 명확해요(단, 파생물 조건은 원본을 따라요).
정리
440MB는 마법이 아니라 어디를 누르고 어디를 남길지 정한 결과예요. 가중치는 1.25비트까지 눌렀고, 다국어 어휘를 담은 임베딩은 7비트로 지켰어요. 이 배분 덕분에 33개 언어가 폰 한 대에 들어가요.
번역 기능을 제품에 넣을 계획이라면, 이제 “API 붙일까”와 “온디바이스 넣을까”가 실제 선택지예요. 후자의 값이 462MB까지 내려왔다는 게 이번 릴리스의 핵심이에요.
- 모델: tencent/Hy-MT2-1.8B · 1.25비트 GGUF
- 코드: github.com/Tencent-Hunyuan/Hy-MT2 · 양자화 도구 AngelSlim
- 기술 보고서: arXiv 2605.22064