
끼어들고 한숨 쉬는 음성 AI, Sophon
한 줄 요약: Sophon-Realtime은 말하는 동안 계속 듣고, 목소리의 톤을 읽고, 웃음·한숨까지 목소리로 내는 오픈웨이트 풀듀플렉스 음성 모델이에요. 첫 응답 0.25~0.31초, Apache-2.0, 80GB GPU 한 장. 다만 한국어는 아직 지원 목록에 없어요.
AI와 음성으로 대화할 때 답답한 순간은 대개 세 가지예요. 내 말이 끝나기 전에 끊기고, 말을 고쳐도 알아채지 못하고, 목소리가 로봇처럼 평평해요. Sophon-Realtime은 이 셋을 정면으로 다루는 프로젝트예요. README와 벤치마크를 직접 대조해 원리와 한계를 정리했어요.

먼저 용어 두 개만 풀게요.
- 턴테이킹(turn-taking): 누가 언제 말할지 정하는 규칙이에요. 대화의 리듬을 만드는 요소죠.
- 비언어 소리(NVV, non-verbal vocalization): 웃음·한숨·숨소리처럼 단어가 아닌 소리예요.
기존 방식과 무엇이 다른가
일반적인 음성 챗봇은 턴 방식이에요. 내 말이 끝날 때까지 기다렸다가, 음성을 문자로 바꾸고(STT), 답을 만들고(LLM), 다시 음성으로 합성해요(TTS). 각 단계를 순서대로 거치니 느리고, 말하는 도중의 끼어들기를 잘 못 받아요.
Sophon은 풀듀플렉스(full-duplex) 예요. 전화 통화처럼 양쪽이 동시에 열려 있어요. README가 설명하는 핵심은 이래요.
멈춤이 생길 때마다 같은 모델이 한 토큰으로 판단해요 — 내 말이 끝났는지, 아직 말하는 중인지, 맞장구인지, 생각 중인지.
이 “한 토큰 판정”이 구조의 심장이에요. 별도의 침묵 타이머로 자르는 대신, 대화 맥락을 아는 모델이 판단하니 “음…” 하고 고민하는 중에 끊기지 않아요.
세 가지 빌드 — 무엇을 희생하는가
Sophon은 같은 두뇌에 음성 단계를 다르게 붙인 세 빌드를 제공해요.
| Tag | Flash | E2E | |
|---|---|---|---|
| 음성 방식 | 두뇌가 태그([laughter], [sigh])를 쓰고 표현력 있는 음성 모델이 연기 |
같은 태그를 가볍고 빠른 음성 모델이 80ms 단위로 재생 | 음성 토큰 모델 없이 약 3억 5천만 파라미터 talker가 음성 벡터를 직접 생성 |
| 첫 오디오 | 약 0.6초 | 0.31초 | 0.25초 |
| 비언어 소리(영/중) | 0.80 / 0.86 | 0.63 / 0.77 | 0.75 / 0.85 |
| GPU당 동시 사용자 | 16명 | 40명 | 16명 |
| 음색 복제 | 3~10초 클립 | 3~10초 클립 | 5~12초 클립 |
선택 기준은 분명해요. 표현력이면 Tag, 동시 사용자면 Flash, 첫 응답 속도면 E2E예요. 셋 다 80GB GPU 한 장에서 vLLM-Omni로 돌아가요.
E2E가 흥미로워요. 중간에 음성 토큰 모델을 두지 않고, 두뇌가 쓰는 태그 달린 답변을 350M짜리 talker가 실시간으로 읽으면서 음성 벡터를 뽑아요. 초당 약 6.5프레임이고, 2단계 디코더와 보코더가 24kHz 오디오로 바꿔요. 웃음·기침·한숨·강세가 별도 처리 없이 같은 스트림에서 나와요.
지연 예산을 계산해 봤어요
0.25초가 빠른지 따져 보려면 비교 대상이 필요해요. 턴 방식 파이프라인의 지연을 구성요소로 나눠 보면 이래요(각 단계는 흔히 쓰이는 범위로 가정한 값이에요).
| 단계 | 대략 지연 |
|---|---|
| 침묵 감지(끝났다고 판정) | 0.2~0.5초 |
| STT 마지막 조각 확정 | 0.1~0.3초 |
| LLM 첫 토큰 | 0.2~0.5초 |
| TTS 첫 오디오 | 0.1~0.3초 |
| 합계 | 0.6~1.6초 |
Sophon은 0.25~0.31초예요. 즉 턴 방식의 절반 이하고, 무엇보다 지연이 한 덩어리예요. 단계마다 붙는 지연이 쌓이지 않으니 흔들림이 적어요. 통화에서 어색함을 만드는 건 평균 지연보다 편차인데, 이 구조가 그 지점을 노려요.
한 가지 주의할 점은 측정 조건이에요. README는 “H100 80GB 한 장, 사용자가 10초 안에 몰려드는 조건”이라고 밝혀요. 즉 동시 접속이 늘면 지연은 올라가요. 40명 동시 사용자를 받는 Flash는 그 대신 표현력 점수가 낮아요.
성능 — 어디까지가 자체 측정인가
README가 내세우는 숫자는 이래요.
- VoiceBench 82.8 — 오픈 풀듀플렉스 모델 중 1위, GPT-4o-mini-Audio와 동급
- Big Bench Audio 81.8%
- 초분절 이해 48.6 — Gemini 3.8 Flash(46.9), Qwen3-Omni(44.6)보다 높음
- NVV-SuperBench 중국어 0.86 / 영어 0.80
- Full-Duplex-Bench v3 툴 호출 Pass@1 48% — Grok(43%)보다 높음
여기서 균형 있게 볼 지점이 있어요. README는 각주에 “Self-run unless noted”(별도 표기가 없으면 자체 측정)라고 명시해요. 판정 모델도 밝혀요 — VoiceBench는 gpt-4o-mini, Big Bench Audio는 GPT-4.1, NVV는 Gemini 3 Flash가 채점했어요. 즉 자기 모델을 자기 하네스로 돌린 결과예요. 판정 모델을 공개한 건 재현 가능성이 높다는 뜻이지만, “1위” 주장은 개발사 측정이라는 꼬리표를 달고 읽어야 해요.
실무에서 걸리는 것 — 한국어
가장 중요한 한계예요. 언어 지원 표를 보면 이래요.
| 언어 | 상태 |
|---|---|
| 중국어, 영어 | 완전 지원 |
| 이탈리아어·독일어·스페인어·프랑스어·포르투갈어 | 대화 가능(기본 질문 정답률 80~92%) |
| 일본어, 러시아어 | Flash 빌드에서 사용 가능 |
| 한국어 | 준비 중(Coming soon) |
한국어로 쓰려면 아직 때가 아니에요. 다만 구조가 언어 독립적이라 추가될 여지는 커요. 그리고 한국어가 없는 지금도 쓸 수 있는 길이 있어요. 말은 영어·중국어로 하고, 실제 작업은 뒤단의 큰 모델이 처리하는 Live 모드예요. README는 이 모드를 “큰 백엔드 모델과 협업”이라고 설명하고, OpenAI GPT-Live 인터페이스 형식과 호환된다고 해요.
작은 기기에서 돌리기
32B가 부담이면 4B 빌드가 있어요.
| 구성 | 요구 하드웨어 | 메모 사용 |
|---|---|---|
| 4B-Flash | 24GB GPU (RTX 4090/3090급) | 약 21GB |
| 4B-Tag(W4) | 24GB GPU | 약 21GB |
| Mac 4B(Flash, MLX) | 애플 실리콘 16GB 이상 | 약 11GB |
대신 지식은 크게 줄어요. 4B는 VoiceBench 62.4(32B는 82.8), Big Bench Audio 44.3%(32B 81.8)예요. README도 “대화 리듬과 캐릭터용, 정답이 중요하면 32B나 호스팅 API를 쓰라”고 안내해요. 참고로 24GB·16GB 수치는 메모리를 그 한도로 제한해 측정한 결과이고, 실제 그 기기에서 검증한 건 아니라고 밝혀요.
활용 시나리오
- 말동무·캐릭터: Tag 빌드가 정석이에요. SillyTavern 플러그인이 있어서 캐릭터별 음색을 복제하고, 통화 내용을 채팅에 다시 기록할 수 있어요.
- 고객 응대: Flash가 동시 40명을 받아요. 첫 응답 0.31초면 전화 응대에 무리 없어요.
- 자체 제품 탑재: Apache-2.0이라 상업적 사용이 자유로워요. LoRA로 페르소나·도메인 지식을 얹을 수 있고, 음성과 턴테이킹은 유지돼요.
- 연구: 턴테이킹·끼어들기 실험용으로 4B가 적당해요.
체크리스트
- 언어 지원을 먼저 확인한다 — 한국어는 아직이에요. 영어·중국어 서비스라면 지금도 후보예요.
- 빌드를 용도로 고른다 — 표현력(Tag) / 동시성(Flash) / 지연(E2E).
- 동시 사용자 수를 감안한다 — 80GB 한 장에 16~40명이에요. 사용자가 늘면 GPU를 늘리거나 Flash로 내려가야 해요.
- 자체 측정임을 기억한다 — 벤치마크는 개발사 하네스 결과예요. 내 용도 문장으로 직접 들어 보는 게 결론이에요.
- 라이선스를 확인한다 — Apache-2.0, 코드와 가중치 모두 상업적 사용 가능이에요.
정리
음성 AI의 경쟁 축이 “얼마나 자연스러운 목소리인가”에서 “대화의 리듬을 얼마나 지키는가” 로 옮겨가고 있어요. Sophon은 끼어들기 판정·톤 이해·비언어 소리를 한 모델에 묶고, 지연을 0.3초 아래로 내렸어요. 한국어가 붙는 시점이 국내 활용의 분수령이 될 것 같아요.
- 프로젝트: github.com/adventists-ai/sophon-realtime (Apache-2.0)
- 모델: Sophon-Realtime-32B-Tag · 32B-Flash · 4B-Tag-W4
- 체험: 호스팅 API 콘솔 (3시간 무료)