생각을 정리하는 마인드맵, 풀맵 →
기술 딥다이브

끼어들고 한숨 쉬는 음성 AI, Sophon


한 줄 요약: Sophon-Realtime은 말하는 동안 계속 듣고, 목소리의 톤을 읽고, 웃음·한숨까지 목소리로 내는 오픈웨이트 풀듀플렉스 음성 모델이에요. 첫 응답 0.25~0.31초, Apache-2.0, 80GB GPU 한 장. 다만 한국어는 아직 지원 목록에 없어요.

AI와 음성으로 대화할 때 답답한 순간은 대개 세 가지예요. 내 말이 끝나기 전에 끊기고, 말을 고쳐도 알아채지 못하고, 목소리가 로봇처럼 평평해요. Sophon-Realtime은 이 셋을 정면으로 다루는 프로젝트예요. README와 벤치마크를 직접 대조해 원리와 한계를 정리했어요.

Sophon-Realtime 리포 — 풀듀플렉스 음성 모델, Apache-2.0, 별 500개

먼저 용어 두 개만 풀게요.

  • 턴테이킹(turn-taking): 누가 언제 말할지 정하는 규칙이에요. 대화의 리듬을 만드는 요소죠.
  • 비언어 소리(NVV, non-verbal vocalization): 웃음·한숨·숨소리처럼 단어가 아닌 소리예요.

기존 방식과 무엇이 다른가

일반적인 음성 챗봇은 턴 방식이에요. 내 말이 끝날 때까지 기다렸다가, 음성을 문자로 바꾸고(STT), 답을 만들고(LLM), 다시 음성으로 합성해요(TTS). 각 단계를 순서대로 거치니 느리고, 말하는 도중의 끼어들기를 잘 못 받아요.

Sophon은 풀듀플렉스(full-duplex) 예요. 전화 통화처럼 양쪽이 동시에 열려 있어요. README가 설명하는 핵심은 이래요.

멈춤이 생길 때마다 같은 모델이 한 토큰으로 판단해요 — 내 말이 끝났는지, 아직 말하는 중인지, 맞장구인지, 생각 중인지.

이 “한 토큰 판정”이 구조의 심장이에요. 별도의 침묵 타이머로 자르는 대신, 대화 맥락을 아는 모델이 판단하니 “음…” 하고 고민하는 중에 끊기지 않아요.

세 가지 빌드 — 무엇을 희생하는가

Sophon은 같은 두뇌에 음성 단계를 다르게 붙인 세 빌드를 제공해요.

Tag Flash E2E
음성 방식 두뇌가 태그([laughter], [sigh])를 쓰고 표현력 있는 음성 모델이 연기 같은 태그를 가볍고 빠른 음성 모델이 80ms 단위로 재생 음성 토큰 모델 없이 약 3억 5천만 파라미터 talker가 음성 벡터를 직접 생성
첫 오디오 약 0.6초 0.31초 0.25초
비언어 소리(영/중) 0.80 / 0.86 0.63 / 0.77 0.75 / 0.85
GPU당 동시 사용자 16명 40명 16명
음색 복제 3~10초 클립 3~10초 클립 5~12초 클립

선택 기준은 분명해요. 표현력이면 Tag, 동시 사용자면 Flash, 첫 응답 속도면 E2E예요. 셋 다 80GB GPU 한 장에서 vLLM-Omni로 돌아가요.

E2E가 흥미로워요. 중간에 음성 토큰 모델을 두지 않고, 두뇌가 쓰는 태그 달린 답변을 350M짜리 talker가 실시간으로 읽으면서 음성 벡터를 뽑아요. 초당 약 6.5프레임이고, 2단계 디코더와 보코더가 24kHz 오디오로 바꿔요. 웃음·기침·한숨·강세가 별도 처리 없이 같은 스트림에서 나와요.

지연 예산을 계산해 봤어요

0.25초가 빠른지 따져 보려면 비교 대상이 필요해요. 턴 방식 파이프라인의 지연을 구성요소로 나눠 보면 이래요(각 단계는 흔히 쓰이는 범위로 가정한 값이에요).

단계 대략 지연
침묵 감지(끝났다고 판정) 0.2~0.5초
STT 마지막 조각 확정 0.1~0.3초
LLM 첫 토큰 0.2~0.5초
TTS 첫 오디오 0.1~0.3초
합계 0.6~1.6초

Sophon은 0.25~0.31초예요. 즉 턴 방식의 절반 이하고, 무엇보다 지연이 한 덩어리예요. 단계마다 붙는 지연이 쌓이지 않으니 흔들림이 적어요. 통화에서 어색함을 만드는 건 평균 지연보다 편차인데, 이 구조가 그 지점을 노려요.

한 가지 주의할 점은 측정 조건이에요. README는 “H100 80GB 한 장, 사용자가 10초 안에 몰려드는 조건”이라고 밝혀요. 즉 동시 접속이 늘면 지연은 올라가요. 40명 동시 사용자를 받는 Flash는 그 대신 표현력 점수가 낮아요.

성능 — 어디까지가 자체 측정인가

README가 내세우는 숫자는 이래요.

  • VoiceBench 82.8 — 오픈 풀듀플렉스 모델 중 1위, GPT-4o-mini-Audio와 동급
  • Big Bench Audio 81.8%
  • 초분절 이해 48.6 — Gemini 3.8 Flash(46.9), Qwen3-Omni(44.6)보다 높음
  • NVV-SuperBench 중국어 0.86 / 영어 0.80
  • Full-Duplex-Bench v3 툴 호출 Pass@1 48% — Grok(43%)보다 높음

여기서 균형 있게 볼 지점이 있어요. README는 각주에 “Self-run unless noted”(별도 표기가 없으면 자체 측정)라고 명시해요. 판정 모델도 밝혀요 — VoiceBench는 gpt-4o-mini, Big Bench Audio는 GPT-4.1, NVV는 Gemini 3 Flash가 채점했어요. 즉 자기 모델을 자기 하네스로 돌린 결과예요. 판정 모델을 공개한 건 재현 가능성이 높다는 뜻이지만, “1위” 주장은 개발사 측정이라는 꼬리표를 달고 읽어야 해요.

실무에서 걸리는 것 — 한국어

가장 중요한 한계예요. 언어 지원 표를 보면 이래요.

언어 상태
중국어, 영어 완전 지원
이탈리아어·독일어·스페인어·프랑스어·포르투갈어 대화 가능(기본 질문 정답률 80~92%)
일본어, 러시아어 Flash 빌드에서 사용 가능
한국어 준비 중(Coming soon)

한국어로 쓰려면 아직 때가 아니에요. 다만 구조가 언어 독립적이라 추가될 여지는 커요. 그리고 한국어가 없는 지금도 쓸 수 있는 길이 있어요. 말은 영어·중국어로 하고, 실제 작업은 뒤단의 큰 모델이 처리하는 Live 모드예요. README는 이 모드를 “큰 백엔드 모델과 협업”이라고 설명하고, OpenAI GPT-Live 인터페이스 형식과 호환된다고 해요.

작은 기기에서 돌리기

32B가 부담이면 4B 빌드가 있어요.

구성 요구 하드웨어 메모 사용
4B-Flash 24GB GPU (RTX 4090/3090급) 약 21GB
4B-Tag(W4) 24GB GPU 약 21GB
Mac 4B(Flash, MLX) 애플 실리콘 16GB 이상 약 11GB

대신 지식은 크게 줄어요. 4B는 VoiceBench 62.4(32B는 82.8), Big Bench Audio 44.3%(32B 81.8)예요. README도 “대화 리듬과 캐릭터용, 정답이 중요하면 32B나 호스팅 API를 쓰라”고 안내해요. 참고로 24GB·16GB 수치는 메모리를 그 한도로 제한해 측정한 결과이고, 실제 그 기기에서 검증한 건 아니라고 밝혀요.

활용 시나리오

  • 말동무·캐릭터: Tag 빌드가 정석이에요. SillyTavern 플러그인이 있어서 캐릭터별 음색을 복제하고, 통화 내용을 채팅에 다시 기록할 수 있어요.
  • 고객 응대: Flash가 동시 40명을 받아요. 첫 응답 0.31초면 전화 응대에 무리 없어요.
  • 자체 제품 탑재: Apache-2.0이라 상업적 사용이 자유로워요. LoRA로 페르소나·도메인 지식을 얹을 수 있고, 음성과 턴테이킹은 유지돼요.
  • 연구: 턴테이킹·끼어들기 실험용으로 4B가 적당해요.

체크리스트

  1. 언어 지원을 먼저 확인한다 — 한국어는 아직이에요. 영어·중국어 서비스라면 지금도 후보예요.
  2. 빌드를 용도로 고른다 — 표현력(Tag) / 동시성(Flash) / 지연(E2E).
  3. 동시 사용자 수를 감안한다 — 80GB 한 장에 16~40명이에요. 사용자가 늘면 GPU를 늘리거나 Flash로 내려가야 해요.
  4. 자체 측정임을 기억한다 — 벤치마크는 개발사 하네스 결과예요. 내 용도 문장으로 직접 들어 보는 게 결론이에요.
  5. 라이선스를 확인한다 — Apache-2.0, 코드와 가중치 모두 상업적 사용 가능이에요.

정리

음성 AI의 경쟁 축이 “얼마나 자연스러운 목소리인가”에서 “대화의 리듬을 얼마나 지키는가” 로 옮겨가고 있어요. Sophon은 끼어들기 판정·톤 이해·비언어 소리를 한 모델에 묶고, 지연을 0.3초 아래로 내렸어요. 한국어가 붙는 시점이 국내 활용의 분수령이 될 것 같아요.