
0.8B 문서 파서가 2B를 이긴 이유
한 줄 요약: Xiaomi-OCR-0은 0.8B 파라미터로 문서 파싱과 문서 이해를 함께 처리하는 OCR 특화 모델이에요. 같은 계열 2B 모델의 문서 이해 평균을 넘고, 0.8~1.2B 경쟁자들과는 동급이에요. 비결은 크기가 아니라 1.7억 샘플의 좁고 깊은 데이터와 경쟁 OCR 모델들의 합의를 정답으로 삼은 학습이에요.
먼저 용어 몇 개만 풀게요.
- 문서 파싱: 이미지·PDF 속 글자·표·수식을 기계가 읽을 수 있는 구조로 바꾸는 일이에요. 결과물은 보통 마크다운이나 JSON이에요.
- KIE: 문서에서 이름·금액·날짜 같은 항목을 뽑아 JSON으로 만드는 일이에요.
- VQA: 문서를 보여 주고 “총액이 얼마인가”처럼 질문에 답하게 하는 과제예요.
- mmproj: 이미지를 이해하는 별도 부품(비전 프로젝터)이에요. GGUF로 돌릴 때 본체와 따로 받아야 해요.
문서 파싱(스캔·PDF를 구조로 바꾸는 일)은 오래된 문제인데, 최근 1년 사이에 판이 바뀌었어요. 크고 똑똑한 범용 모델보다 작고 좁은 전문 모델이 더 잘하는 영역이 생겼거든요. 샤오미의 Xiaomi-OCR-0이 대표적인 예예요. 지난달 다운로드 22,477회, Apache-2.0, 논문까지 공개된 모델이에요(arXiv 2609.36136).

숫자부터 — 0.8B가 어디까지 가나
모델 카드의 벤치마크를 그대로 옮기면 이래요.
| 벤치마크 | 점수 | 순위 |
|---|---|---|
| Real5-OmniDocBench | 95.24 | 1위 |
| OmniDocBench v1.6 | 96.83 | 2위 |
| Wild-OmniDocBench (촬영·왜곡 문서) | 87.94 | 2위 |
| UniMER-Test (수식 인식) | 97.84 | — |
| PubTabNet (표 인식) | 92.27 | — |
| OCR VQA 5종 평균 | 83.2 | — |
같은 크기 경쟁자를 나란히 놓으면 이래요.
| 모델 | 크기 | OmniDocBench v1.6 | Real5 | Wild |
|---|---|---|---|---|
| Xiaomi-OCR-0 | 0.8B | 96.83 | 95.24 | 87.94 |
| TeleOCR | 1.2B | 96.87 | — | 88.53 |
| OvisOCR2 | 0.8B | 96.58 | 92.29 | 87.91 |
| PaddleOCR-VL-1.6 | 0.9B | 96.33 | 93.19 | 87.36 |
| MinerU2.5-Pro | 1.2B | 95.75 | 88.94 | 87.33 |
| GLM-OCR | 0.9B | 95.22 | 90.32 | 85.08 |
정직하게 짚으면, OmniDocBench에서는 TeleOCR(1.2B)이 0.04점 앞서요. 사실상 동률이에요. 대신 Real5와 촬영 문서(Wild)에서는 앞서고, 무엇보다 0.8B로 1.2B와 같은 급이라는 게 핵심이에요.
문서 이해 쪽은 차이가 더 뚜렷해요.
| 모델 | 크기 | DocVQA | InfoVQA | ChartQA | OCRBench | TextVQA | 평균 |
|---|---|---|---|---|---|---|---|
| Xiaomi-OCR-0 | 0.8B | 93.1 | 75.1 | 84.6 | 84.6 | 78.6 | 83.2 |
| Qwen3.5-0.8B (원본) | 0.8B | 88.5 | 60.3 | 69.5 | 77.9 | 68.3 | 72.9 |
| Qwen3.5-2B | 2B | 92.4 | 72.4 | 77.0 | 85.9 | 76.9 | 80.9 |
| Qwen3.5-4B | 4B | 94.4 | 80.4 | 82.4 | 86.6 | 80.8 | 84.9 |
| MiniCPM-V-4.5 | 8B | 84.9 | 69.6 | 87.4 | 89.0 | 82.2 | 82.6 |
같은 0.8B 원본(Qwen3.5-0.8B)을 10.3점 끌어올렸어요. 같은 계열 2B(80.9)는 물론이고 8B급 MiniCPM-V-4.5(82.6)보다도 높아요. 위에 남은 건 4B(Qwen3.5-4B, 84.9) 하나이고, 차이는 1.7점이에요. 파라미터가 5배인 4B와 1.7점 차이라면, 문서 과제에서는 크기가 곧 성능이 아니라는 뜻이에요.
어떻게 0.8B가 이걸 하나 — 세 단계
모델 카드에 적힌 학습 레시피는 세 단계예요.
- Q-Mask 텍스트 앵커링: 텍스트 조각과 그 위치를 정확히 연결하는 단계예요. OCR에서 “무엇을 읽었나”만큼 중요한 게 “어디에 있었나”예요. 표와 수식은 위치가 틀리면 구조가 무너지죠.
- OCR 중심 지속 사전학습(CPT): 문서 도메인에 집중해서 기반 능력을 다시 쌓아요.
- 혼합 과제 강화학습(Mix-RL): 검증 가능한 보상으로 어려운 샘플을 파고들어요. 표·수식은 정답을 기계적으로 검증할 수 있어서 강화학습과 잘 맞아요.
여기에 1.7억 샘플의 OCR 중심 코퍼스가 붙어요. 범용 모델이 웹 전체를 학습하는 것과 반대로, 문서만 깊게 판 셈이죠.
데이터 엔진이 진짜 무기 — 경쟁자를 선생으로
가장 흥미로운 부분이에요. 이 모델의 학습 데이터는 사람이 라벨링한 게 아니라 다른 OCR 모델들의 합의로 만들어졌어요.
논문이 밝힌 전문가 풀은 이래요 — PaddleOCR-VL-1.6, MinerU2.5-Pro, GLM-OCR, dots.mocr, HunyuanOCR-1.5, TeleOCR, OvisOCR2, Qianfan-OCR. 바로 위의 비교표에 있는 경쟁 모델들이 대부분 포함돼 있어요.
방식은 세 겹이에요.
- 앙상블 삼중 합의(ETC): 여러 전문가가 낸 후보를 전체 일치도로 순위를 매기고, 3개 전문가 합의분을 골라요. 합의가 약한 샘플은 다시 정제로 보내요.
- 렌더 기반 정제·판정: 전문가들이 어긋날 때 후보를 이미지로 다시 그려서 원본 영역과 비교해요. 표·수식의 구조 오류는 텍스트만 봐선 안 보이고 그림으로 그려야 드러나거든요.
- 실패 기반 합성: 학습 중 반복되는 오류를 표적으로 삼아 데이터를 만들어요. 부족한 구조·서체·도메인을 채우는 합성도 함께요.
즉 “어려운 문제는 여럿에게 물어 합의를 얻고, 합의가 없으면 그림으로 검증한다”는 원칙이에요. 작은 모델이 큰 모델을 이기는 힘이 여기서 나와요 — 선생이 여럿이고, 검증이 기계적이니까요.
논문이 스스로 밝힌 두 가지 발견
모델 카드에는 실패와 조건까지 적혀 있어요. 이게 실무에서 가장 유용해요.
첫째, 문서 이해 데이터는 파싱이 이미 강할 때만 도움이 돼요. 학습 단계별로 이해 데이터를 더했더니 초기 단계에서는 −0.330(오히려 손해), 중간 단계에서는 +0.639, 후반 강한 기준선에서는 +0.0749였어요. 즉 “이해 능력을 섞으면 파싱이 좋아진다”는 명제는 단계에 따라 참이기도 하고 거짓이기도 해요. 기초가 약한데 응용을 섞으면 서로를 망가뜨려요.
둘째, 이해는 파싱보다 많은 파라미터를 요구해요. 같은 CPT를 거친 0.8B와 4B를 비교해 이 결론을 끌어내요. 파싱은 상대적으로 좁은 과제라 작은 모델로도 되지만, 질문에 답하는 이해는 더 넓은 능력을 요구한다는 거죠.
이 두 발견은 모델 선택에도 그대로 적용돼요. “PDF를 마크다운으로”만 필요하면 0.8B로 충분하고, “이 계약서에서 위험 조항을 찾아줘”처럼 이해가 필요하면 더 큰 모델을 봐야 해요.
실무 배포 — 1.8GB로 끝난다
- Ollama(실험적): 커뮤니티 BF16 GGUF 패키지가 약 1.8GB예요.
ollama pull longwayxu/xiaomi-ocr-0:bf16로 받아요. - GGUF 양자화: Q3_K_L부터 Q6_K까지 여러 크기가 있어요. 이미지 추론에는 비전 프로젝터(
mmproj)가 별도로 필요해요. - MCP 서비스·에이전트 스킬: 리포지토리에 MCP 서비스와 브라우저 데모가 있어요. 이미지 전처리와 디코딩 설정이 미리 맞춰져 있어서, 모델만 받는 것과 결과가 달라요.
- 주의: 커뮤니티 GGUF는 공식 검증 대상이 아니에요. 모델 카드도 “원본 벤치마크 점수가 이 변환들의 정확도를 보증하지 않는다”고 명시해요. 정확도가 중요한 업무라면 BF16으로 먼저 재 보세요.
- 폰 배포: 커뮤니티에 안드로이드(스냅드래곤) 로컬 배포 사례까지 나와 있어요. 0.8B라는 크기가 만든 현상이에요.
언제 쓸까
| 필요한 것 | 적합도 |
|---|---|
| PDF·스캔 → 구조화 마크다운(표·수식 포함) | 매우 적합 |
| 문서에서 특정 항목 JSON 추출 | 적합 |
| 도장·손글씨 섞인 촬영본 | 적합 (Wild 점수 87.94) |
| 문서 내용 추론·요약·판단 | 더 큰 모델 권장 |
| 실시간 대량 배치 | 0.8B라 유리 |
정리
Xiaomi-OCR-0의 교훈은 “작은 모델도 이긴다”가 아니에요. 과제를 좁히고, 데이터를 기계적으로 검증하고, 경쟁자를 선생으로 쓰면 0.8B가 2B를 넘는다는 거예요. 그리고 논문이 조건까지 밝혀서, 우리가 어디에 써야 하는지도 알려줘요.
문서 파이프라인을 만들고 있다면, 이제 첫 선택지가 “범용 VLM에 프롬프트”가 아니라 “전문 0.8B”일 수 있어요.
- 모델: xiaomi-research/Xiaomi-OCR-0
- 코드·MCP·데모: github.com/SeerRay-Lab/Xiaomi-OCR-0
- 논문: arXiv 2609.36136