한 줄 요약: 버추얼 스트리머 CodeMiko는 Xsens 모션 캡처 수트·Manus 손 장갑·iPhone 얼굴 트래킹의 세 센서 데이터가 Unreal Engine에 실시간으로 모여 하나의 아바타를 움직이는 구조로 돌아간다.

한 릴스가 “세계에서 가장 기묘한 라이브 방송”의 비하인드를 보여줍니다. 주인공은 스트리머 CodeMiko(코드미코)이고, 그 뒤에서 기술을 쥐고 있는 사람은 “더 테크니션(The Technician)“으로 불리는 한국계 미국인 개발자 **윤아 강(Youna Kang)**입니다. 일반 스트리머의 방이 아니라 할리우드 모션 캡처 스튜디오를 연상시키는 첨단 세팅에서, 자기 몸의 움직임을 실시간으로 디지털 아바타에 옮기고, 시청자의 채팅 명령으로 가상 공간을 직접 조작하는 방송을 만듭니다.

이 릴스에 등장한 기술을 하나씩 풀어 설명하겠습니다. 몸·손·얼굴의 움직임을 실시간으로 잡아내는 세 가지 트래커, 그 데이터를 한데 모아 아바타를 움직이는 3D 엔진, 그리고 시청자를 방송의 참여자로 만드는 채팅 연동까지.

CodeMiko는 누구: 개발자가 만든 스트리머

윤아 강은 원래 애니메이션 스튜디오 니켈로디언에서 일하던 디자이너였습니다. 코로나19로 일자리를 잃은 뒤 스트리밍에 뛰어들었고, Xsens 모션 캡처 수트를 사느라 2만 달러가 넘는 빚을졌다고 밝혔습니다. 그 도박이 통해 CodeMiko는 2021년 SIGGRAPH Asia에서 최우수상(Best in Show), 2022년 Streamy Awards에서 최우수 VTuber상을 받았고, Kotaku는 “스트리밍의 미래”, Financial Times는 “디지털 엔터테인먼트의 다음 국경”이라고 평했습니다.

중요한 점은 CodeMiko가 단순한 ’아바타 스트리머’가 아니라 개발자가 직접 짠 기술 스택이라는 것입니다. 윤아 강은 SIGGRAPH 발표에서 “Xsens 수트로 모션 캡처를, 아이폰 라이브 링크로 얼굴 캡처를, Manus VR로 손가락을 잡는다”고 자신의 빌드를 직접 설명했습니다. 현재는 엔지니어·애니메이터·리거로 이루어진 소규모 팀과 함께 개발하고 있으며, 자회사 Mikoverse에서 차세대 VTuber 기술을 만들고 있습니다.

Xsens MVN: 카메라 없이 몸을 트래킹하는 관성 모션 캡처

몸 전체의 움직임을 잡는 장비가 Xsens MVN 모션 캡처 수트입니다. 전통적인 모션 캡처(영화·게임 스튜디오에서 쓰는 Vicon 같은 광학식)는 여러 대의 카메라가 수트에 붙인 반사 마커를 찍어 위치를 계산합니다. 반면 Xsens는 **관성식(inertial)**입니다. 카메라가 필요 없고, 스튜디오 밖에서도 되며, 촬영 반경 제한이 없습니다.

각 센서는 **관성 측정 장치(IMU, Inertial Measurement Unit)**로, 세 가지 부품을 품고 있습니다. 가속도계(accelerometer)가 선형 가속도를, 자이로스코프(gyroscope)가 회전 속도를, 자력계(magnetometer)가 지구 자기장 방향을 잽니다. 이 세 신호를 센서 퓨전 알고리즘으로 합치면, 각 신체 부위가 어느 방향으로 얼마나 기울어졌는지를 3D 방향(orientation)으로 알아냅니다. 여기에 생체역학 모델(23개 신체 분절·22개 관절)을 얹어 관절 각도와 전신 자세를 계산합니다.

트래킹 데이터는 무선으로 PC에 전송되어 Xsens Animate 소프트웨어를 거쳐 실시간 스트리밍으로 Unreal Engine에 들어갑니다. 업데이트 주기는 최대 240Hz, 무선 지연은 약 20ms 수준이어서 라이브 방송에 쓸 만합니다. 관성식의 핵심 장점은 “방송인의 집 한가운데서, 카메라 설치 없이, 옷 위에 수트 하나만 입고 풀바디 모캡을 돌린다”는 점입니다. CodeMiko가 일반 스트리머와 달리 스튜디오급 장비를 홈 세팅에서 쓸 수 있는 이유입니다.

Manus VR 장갑: 손가락 관절까지

몸은 Xsens 수트가 잡지만, 손가락은 따로 잡아야 합니다. 손가락은 관절이 많고 움직임이 미세해서 몸통 수트의 IMU만으로는 정밀하게 트래킹하기 어렵습니다. 여기에 쓰는 장비가 Manus VR 장갑입니다. 장갑 안의 센서가 각 손가락 관절의 굽힘·펼침을 측정해 디지털 아바타의 손에 전달합니다. Xsens 수트는 Manus(또는 StretchSense) 장갑 데이터를 통합해서 함께 스트리밍하도록 공식 지원합니다.

손가락 트래킹이 중요한 이유는, 방송에서 아바타가 물건을 잡거나 가리키거나 제스처를 취할 때 손이 자연스럽게 보여야 하기 때문입니다. 손이 경직되어 있으면 아바타가 인형처럼 느껴지고, 손가락이 따로 놀면 몰입이 깨집니다. CodeMiko가 인터뷰 중 손을 흔들거나 물건을 집어 올릴 때 자연스럽게 보이는 것은 Manus 장갑이 채우는 부분입니다.

iPhone TrueDepth + Live Link Face: 표정을 숫자로 바꾸는 얼굴 트래킹

얼굴 표정이야말로 CodeMiko의 인기 비결입니다. 릴스에서 윤아 강은 얼굴에 아이폰이 장착된 맞춤형 헬멧을 쓰고 있습니다. 이 헬멧은 MOCAP Design에서 만든 것이며, 아이폰의 TrueDepth 카메라와 Apple의 Live Link Face 앱으로 미세한 표정까지 실시간 데이터로 바꿉니다.

TrueDepth 카메라는 적외선(IR) 점 투사기를 이용해 얼굴의 3D 깊이 맵을 만듭니다. 얼굴에 수만 개의 적외선 점을 쏘아 그 패턴이 굴절되는 정도를 적외선 카메라로 읽으면, 2D 영상만으로는 알 수 없는 입체 정보가 잡힙니다. ARKit은 이 깊이 정보와 머신러닝 모델을 결합해 얼굴 표정을 52개 블렌드셰이프(blendshape) 계수로 변환합니다. 눈을 감는 정도, 입술이 웃는 정도, 눈썹이 올라가는 정도 각각이 0~1 사이의 숫자로 측정되는 셈입니다.

Live Link Face는 이 52개 블렌드셰이프 값을 Unreal Engine으로 실시간 전송하는 Apple의 앱입니다. 전송 규약인 Live Link는 Epic Games가 만든 것으로, 모션 데이터를 Unreal에 스트리밍하는 표준 프레임워크입니다. Xsens의 몸 데이터도 같은 Live Link 계열로 Unreal에 들어갑니다. 즉 몸·손·얼굴 세 가지 트래커의 데이터가 모두 Unreal Engine 한 곳으로 모이는 구조입니다.

Unreal Engine: 모든 트래킹 데이터가 모이는 무대

이 데이터를 받아 아바타를 실시간으로 그리는 엔진이 Unreal Engine(Epic Games의 실시간 3D 엔진)입니다. CodeMiko 아바타는 약 36,000개 폴리곤으로 Autodesk Maya에서 모델링되고 Adobe Substance로 텍스처를 입혔습니다. 이 뼈대(리그)에 Xsens의 전신 자세, Manus의 손가락 관절, Live Link Face의 52개 표정 계수가 매 프레임 적용됩니다. 머리카락, 조명, 가상 환경도 움직임에 맞춰 실시간으로 변합니다.

실시간 렌더링 엔진이 중요한 이유는, 사전 녹화가 아니라 라이브이기 때문입니다. 과거의 모션 캡처는 촬영 후 처리(post-processing)해서 영화나 게임에 넣는 오프라인 작업이었습니다. Unreal Engine은 연산 결과를 방송 프레임 속도에 맞춰 즉시 화면에 띄우므로, 윤아 강이 움직이면 그 즉시 CodeMiko가 움직입니다. 라이브 방송이라는 형식이 기술적으로 성립하려면 이 실시간 파이프라인이 필수입니다.

Twitch 연동: 시청자가 방송 환경을 조작하는 구조

이 스택에서 CodeMiko를 단순한 VTuber와 가르는 독창적인 부분이 Twitch 연동입니다. 릴스는 “Twitch와 Unreal Engine을 연결한 커스텀 코드를 통해 시청자의 채팅 명령과 채널 포인트가 가상 공간에 즉시 반영된다”고 설명합니다. 시청자는 의상을 바꾸거나, 중력을 변경하거나, 디지털 폭발을 일으키는 등 방송 환경을 직접 조작할 수 있습니다.

기술적으로 이것은 Twitch 채팅 API(IRC 프로토콜)와 채널 포인트 보상 신호를 Unreal Engine 이벤트로 변환하는 커스텀 코드입니다. 시청자가 채팅에 명령을 치거나 채널 포인트를 소모해 보상을 받으면, 백엔드 코드가 그 신호를 Unreal 안의 이벤트(의상 스왑, 물리 설정 변경, 이펙트 재생)로 연결합니다. 윤아 강은 발표에서 “채팅이 캐릭터를 터뜨리거나, 공을 던져 CodeMiko를 맞추거나, 작은 개구리로 변해 CodeMiko의 세계에 들어갈 수 있다”고 예를 들었습니다.

이 구조를 “준상호작용적(quasi-interactive) 가상 환경”이라 부릅니다. 시청자는 방송을 보는 수동적인 관객이 아니라, 돈을 내거나 채팅을 쳐서 방송 내용에 영향을 주는 참여자가 됩니다. CodeMiko가 “스트리밍의 미래”로 불리는 핵심은 화려한 아바타 자체보다 이 시청자 참여 구조에 있습니다. 단순히 시청하는 것과 직접 조작하는 것 사이의 간극을 기술로 좁힌 것입니다.

정정: “수십 개의 센서”는 과장

릴스는 Xsens 수트에 “수십 개의 관성 센서”가 내장되었다고 설명합니다. 그러나 Xsens MVN 전신 세트의 센서 수는 17개입니다(MVN Link·MVN Awinda 모두 17개, 추가로 소품용 1개까지 포함해도 18개). Xsens 공식 사양에 따른 숫자이므로, “수십 개”는 실제보다 크게 부풀린 표현입니다.

관성 모캡의 정밀도는 센서 개수보다 생체역학 모델과 센서 퓨전 알고리즘에서 나옵니다. 17개 IMU 각각이 9축(가속도 3축·자이로 3축·자기장 3축) 데이터를 1000Hz로 샘플링하고, 엔진이 이를 23개 분절·22개 관절의 자세로 계산합니다. 센서 수를 부풀려 설명하면 오히려 이 기술의 진짜 작동 원리를 가립니다. 릴스가 보여준 것 기준으로 정확히 적으면 17개입니다.

어떻게 연결되는가

한 줄로 요약하면: 개발자가 입은 Xsens 수트·Manus 장갑·아이폰 얼굴 트래킹 헬멧의 세 가지 센서 데이터가 모두 Unreal Engine에 실시간으로 모여 하나의 아바타를 움직이고, Twitch 채팅 연동이 시청자를 방송의 조작자로 만든다는 이야기입니다.

Xsens의 관성식 모캡이 카메라 없는 홈 스튜디오를 가능하게 하고, iPhone TrueDepth와 ARKit 블렌드셰이프가 52개 표정 숫자로 얼굴을 살리며, Live Link가 이 모든 데이터를 Unreal로 스트리밍하고, 커스텀 Twitch 연동이 시청자의 채팅을 가상 세계의 이벤트로 바꿉니다. CodeMiko가 “기묘한 라이브 방송”이 될 수 있는 이유는 이 파이프라인 전체가 한 사람의 개발자에 의해 실시간으로 짜여 돌아가기 때문입니다.

다만 이 스택은 비용이 만만치 않습니다. Xsens 수트 단가는 수천만 원 수준이고, 윤아 강 역시 수트를 사느라 빚을 졌다고 밝혔습니다. 기술이 대중화하려면 관성 모캡·손가락 트래킹·얼굴 트래킹의 비용 문턱이 더 낮아져야 합니다. 최근 단일 카메라 마커리스 모캡(MOVIN 등)이나 더 가벼운 얼굴 트래킹 도구가 등장하는 흐름은, CodeMiko가 선보인 수준의 인터랙티브 가상 방송이 언젠가 일반 스트리머에게도 열릴 수 있음을 보여줍니다.

출처: CodeMiko: An interactive VTuber experience (SIGGRAPH Asia 2021) · CodeMiko — 위키백과 · Xsens MVN 모션 캡처 수트 사양 · Xsens MVN 사용 설명서(PDF) · Apple ARKit 얼굴 트래킹(블렌드셰이프) 문서 · Epic Games Live Link 문서