생각을 정리하는 마인드맵, 풀맵 →
기술 딥다이브

440MB 번역기, 1.25비트의 정체


한 줄 요약: 텐센트 Hy-MT2의 1.8B 번역 모델은 1.25비트 극한 양자화로 440MB(실측 파일 461.9MB)까지 줄었어요. 33개 언어를 오프라인으로 처리하고 명령형 번역(용어 고정·말투·구조 보존)까지 되는데, 440MB 안을 계산해 보면 가중치는 1.25비트, 임베딩은 약 7비트라는 혼합 구조가 나옵니다.

먼저 용어 몇 개만 풀게요.

  • 파라미터: 모델 안의 숫자 개수예요. 1.8B면 18억 개고, “크기”의 기준이 돼요.
  • 비트: 숫자 하나를 몇 칸으로 표현할지예요. 16비트는 정밀, 1.25비트는 아주 거칠게 담는 거예요.
  • 임베딩: 단어를 숫자 벡터로 바꿔 두는 표예요. 언어가 많을수록 표가 커져요.
  • 양자화: 이 숫자들을 낮은 비트로 눌러 파일을 줄이는 일이에요.
  • 온디바이스: 서버 대신 내 기기에서 직접 계산하는 방식이에요.

번역 앱의 상식은 오래 “언어쌍별로 작은 모델을 따로 받는다”였어요. 한→영, 영→한처럼 쌍마다 모델이 있고, 언어를 추가하면 다운로드가 늘어나죠. 텐센트 Hy-MT2는 그 상식을 한 모델 462MB로 33개 언어라는 쪽으로 바꿔요. 어떻게 그 크기가 나오는지 계산으로 확인했어요.

허깅페이스 Hy-MT2-1.8B — Apache-2.0, 36개 언어 태그, 지난달 다운로드 22,624회

무엇이 나왔나

Hy-MT2는 크기 세 가지로 나왔어요.

모델 형태 비고
Hy-MT2-1.8B 덴스 1.8B 온디바이스용. 1.25비트 양자화 시 440MB
Hy-MT2-7B 덴스 7B 품질 우선
Hy-MT2-30B-A3B MoE 30B (활성 3B) 서버급
  • 33개 언어, 다국어 명령 수행(용어 지정, 말투, 구조 보존)
  • Apache-2.0 라이선스, 기술 보고서 공개(arXiv 2605.22064)
  • IFMTBench — 번역 지시 준수 능력을 재는 벤치마크를 함께 공개
  • AngelSlim — 1.25비트 양자화 도구도 오픈소스

440MB의 정체 — 계산해 봤어요

모델 카드는 “1.25비트로 440MB”라고 해요. 그런데 실제 파일을 확인하니 461.9MB였어요(MiB 기준 440.5). 여기서 산수가 하나 걸려요. 1.8B 파라미터를 1.25비트로 담으면 1.8e9 × 1.25 ÷ 8 = 281MB여야 하거든요.

이 차이는 이삿짐을 싸는 방식으로 이해하면 쉬워요. 무거운 짐(가중치)은 진공압축팩으로 최대한 눌렀고, 깨지기 쉬운 그릇(임베딩)은 신문지로 감싸 남겨 둔 거예요. 트렁크(저장 공간)에는 둘 다 들어가야 하니까, 무엇을 얼마나 누를지가 핵심이죠.

차이를 만드는 건 임베딩이에요. config를 보면 어휘 크기가 120,818개, 은닉 차원이 2,048이에요. 임베딩 행렬 하나가 120,818 × 2,048 = 2억 4,740만 파라미터, 전체의 **13.7%**예요. 그리고 이 모델은 tie_word_embeddings: true라 입력·출력 임베딩을 공유해요.

임베딩 정밀도별로 총 크기를 계산해 보면 답이 나와요.

임베딩 정밀도 나머지 1.25비트일 때 총 크기
16비트 약 737MB
8비트 약 490MB
약 7비트 약 462MB ← 실제 파일

즉 가중치는 1.25비트로 극한까지 눌렀고, 임베딩은 약 7비트로 남겨 뒀어요. 왜일까요. 다국어 어휘는 33개 언어의 문자를 담고 있어서, 정밀도를 너무 낮추면 비라틴 문자·희귀 표기에서 글자가 깨져요. 반대로 크기 부담은 13.7%뿐이라, 여기를 지키는 게 품질 대비 효율이 좋아요.

이 배분은 물건마다 다른 완충재를 쓰는 포장과 같아요. 겉으로는 “1.25비트 모델”이라고 적혀 있지만, 실제 상자 무게는 포장재까지 포함한 값이에요.

이 계산은 실제로 쓸모가 있어요. “1.25비트 모델”이라고 광고해도 전체 파일은 2비트대라는 걸 알면, 폰에 넣을 때 필요한 저장 공간을 정확히 예측할 수 있어요.

왜 이게 판을 바꾸나

세 가지가 동시에 해결돼요.

  1. 언어를 추가해도 크기가 안 늘어요. 33개 언어가 한 모델 안에 있어요. 언어쌍별 모델을 33×32개 준비할 필요가 없죠.
  2. 업데이트가 한 번이에요. 모델 하나만 갱신하면 33개 언어가 같이 갱신돼요.
  3. 오프라인·프라이버시. 기기 안에서 처리하니 서버로 텍스트가 안 나가요. 비행기 모드에서도 되고요.

특히 실무에서 중요한 건 명령형 번역이에요. 모델 카드가 예시로 든 지시 유형을 보면 이래요.

  • 용어 고정: “이 용어는 이렇게 번역해”를 미리 주고 일관성 유지
  • 말투 지정: 격식·캐주얼 같은 스타일 강제
  • 구분자 보존: {}, %s, {{var}} 같은 표식을 번역하지 말고 그대로
  • 구조 보존: JSON·마크다운의 키와 들여쓰기를 건드리지 않고 표시 문구만 번역
  • 개인화: 사용자 선호를 여러 줄로 주고 반영

이건 “번역기”보다 번역 에이전트에 가까워요. 앱 안의 문구를 다국어로 뽑는 작업이라면, 이 기능이 있는지가 실질적인 선택 기준이 돼요.

성능 주장, 어디까지 믿을까

모델 카드의 주장은 이래요.

  • 1.8B 경량 모델이 마이크로소프트·더우바오 같은 상용 API를 전반적으로 앞선다
  • 7B와 30B-A3B는 DeepSeek-V4-Pro, Kimi K2.6을 패스트 싱킹 모드에서 앞선다

여기서 두 가지를 구분해야 해요. 첫째, 이건 개발사 자체 평가예요. 둘째, 평가에 쓴 IFMTBench도 자사가 만든 벤치마크예요. 물론 공개했으니 누구나 재현할 수 있다는 장점은 있어요. 다만 “자사 벤치마크에서 자사 모델이 1등”은 구조적으로 흔한 결과예요.

실무 판단은 이렇게 하는 게 안전해요.

  1. 내 도메인 문장 100개로 직접 비교 — 상용 API와 나란히 돌려 보는 게 가장 빠릅니다.
  2. 용어 일관성을 센다 — 번역 품질보다 브랜드 용어 오역이 실무 사고를 더 많이 냅니다.
  3. 구조 보존을 테스트 — JSON·마크다운 번역에서 키가 깨지면 파이프라인이 무너져요.

실행 방법

llama.cpp용 GGUF가 여러 정밀도로 나와 있어요. 1.25비트 극한판, 2비트판, 일반 GGUF까지요. 1.25비트는 저장 공간을 440MB로 줄이는 대신 추론 속도도 1.5배 좋아진다고 해요 — 읽는 바이트가 줄기 때문이에요. 이 원리는 디스크 스트리밍 글에서 계산한 것과 같아요. 속도는 대개 바이트 수에 반비례해요.

권장 파라미터도 카드에 명시돼 있어요 — temperature 0.7, top_p 0.6, top_k 20, repetition_penalty 1.05. 시스템 프롬프트는 기본으로 넣지 말라고 안내해요.

체크리스트

  1. 파일 크기로 정밀도를 검산한다 — 1.8B면 1.25비트 281MB, 2비트 450MB, 4비트 900MB. 462MB면 “가중치 1.25 + 임베딩 7비트” 조합이에요.
  2. 자체 평가는 재현한다 — 도메인 문장으로 직접 비교가 유일한 답이에요.
  3. 지시 준수 기능을 쓴다 — 용어·말투·구조 보존은 프롬프트로 명시해야 작동해요.
  4. 폰 메모리를 확인한다 — 저장 462MB와 실행 시 메모리는 달라요. KV 캐시 몫이 따로 필요해요.
  5. 라이선스를 본다 — Apache-2.0이라 상업적 사용 조건이 명확해요(단, 파생물 조건은 원본을 따라요).

정리

440MB는 마법이 아니라 어디를 누르고 어디를 남길지 정한 결과예요. 가중치는 1.25비트까지 눌렀고, 다국어 어휘를 담은 임베딩은 7비트로 지켰어요. 이 배분 덕분에 33개 언어가 폰 한 대에 들어가요.

번역 기능을 제품에 넣을 계획이라면, 이제 “API 붙일까”와 “온디바이스 넣을까”가 실제 선택지예요. 후자의 값이 462MB까지 내려왔다는 게 이번 릴리스의 핵심이에요.