한 줄 요약: 뎁스 카메라는 2D 사진이 버린 깊이를 구조광·비행시간(ToF)·스테레오 비전 세 방식으로 되찾고, 셋은 경쟁이 아니라 거리와 환경에 따라 나뉜 보완 관계다.
일반 카메라는 3차원 세계를 2차원 평면으로 눌러 담습니다. 그 과정에서 ’가까운 것’과 ’먼 것’의 거리 정보, 즉 **깊이(depth)**가 사라집니다. 사진 한 장만 보면 앞에 선 사람과 뒤에 선 사람이 같은 평면 위에 놓인 것처럼 보입니다. 뎁스 카메라(depth camera)는 이 잃어버린 깊이를 되찾아, 화면의 각 픽셀마다 “이 점은 카메라에서 몇 cm 떨어져 있다”는 거리 값을 더해 냅니다. 이 깊이 맵(depth map)이 있어야 얼굴 인식(Face ID), 인물 사진 모드의 아웃포커싱, AR(증강현실) 물체 배치가 가능해집니다.
깊이를 재는 방식은 크게 세 가지입니다. 구조광(structured light), 비행시간(ToF, Time of Flight), 스테레오 비전(stereo vision). iPhone의 TrueDepth 카메라가 쓰는 구조광부터 시작해 각 방식이 어떻게 깊이를 계산하고, 어디에 강하고 어디에 약한지 풀어 설명하겠습니다.
깊이를 아는 게 왜 어려운가
2D 카메라 한 대로는 깊이를 알 수 없습니다. 멀리 있는 큰 물체와 가까이 있는 작은 물체가 똑같은 크기로 맺히기 때문입니다. 뇌는 두 눈의 시차와 경험으로 거리를 추측하지만, 카메라 센서는 그런 추론 능력이 없습니다. 그래서 뎁스 카메라는 깊이를 능동적으로 측정하거나 두 대의 카메라로 시차를 이용합니다.
- 능동식(active): 카메라가 빛(보통 적외선)을 쏘아 대상에 닿게 하고, 그 반사를 읽어 거리를 계산합니다. 구조광과 ToF가 여기에 속합니다. 어둠 속에서도 되고 텍스처가 없는 벽에서도 되지만, 전력을 쓰고 주변 적외선(특히 햇빛)에 간섭을 받습니다.
- 수동식(passive): 빛을 쏘지 않고 두 대 이상의 카메라로 같은 장면을 찍어 시차(disparity)로 거리를 냅니다. 스테레오 비전이 여기에 속합니다. 전력 소모가 적지만, 질감이 없는 표면(하얀 벽)에서는 시차를 잡기 어렵고 빛이 너무 없으면 안 됩니다.
능동과 수동의 선택이 세 방식의 강점과 약점을 가른다.
이 능동/수동 구분이 세 방식의 특징을 가릅니다.
구조광(Structured Light): 패턴을 쏘고 변형을 읽는다
iPhone 앞면의 TrueDepth 카메라가 쓰는 방식입니다. 적외선 점 투사기(dot projector)가 얼굴에 3만 개가 넘는 적외선 점을 알려진 패턴으로 쏩니다. 평면에 닿으면 규칙적인 격자가 되지만, 입체(코가 튀어나오고 눈이 들어간 얼굴)에 닿으면 패턴이 굴절·왜곡됩니다. 옆의 적외선 카메라가 이 변형된 패턴을 찍으면, 변형의 정도에서 각 점의 깊이를 계산합니다. 삼각측량(triangulation) 원리입니다.
구조광의 강점은 가까운 거리에서 정밀도가 높다는 것입니다. 얼굴 한 변이 수십 cm인 거리에서 미세한 굴곡까지 잡아내기에 좋습니다. 그래서 Face ID와 Animoji·ARKit 얼굴 트래킹에 적합합니다. 단점은 거리가 멀어지면 점 패턴이 흩어져 정밀도가 급격히 떨어진다는 것입니다. TrueDepth의 유효 거리는 팔길이(약 25~50cm)에서 최적이며, 1m를 넘기면 쓸 만한 데이터가 나오지 않습니다. 넓은 공간을 스캔하는 용도에는 맞지 않습니다.
흥미로운 역사가 있습니다. 구조광 방식의 상용화를 이끈 회사가 PrimeSense인데, 2010년 마이크로소프트 Kinect 1세대(엑스박스 360용)의 모션 센서를 만든 곳입니다. 애플은 2013년 PrimeSense를 인수했고, 그 기술이 iPhone X(2017)의 TrueDepth로 들어갔습니다. 즉 “게임기 모션 컨트롤러의 센서가 스마트폰 얼굴 인식으로 옮겨 왔다”는 이야기입니다.
패턴이 입체에서 어떻게 일그러지는지, 그리고 그 변형이 어떻게 깊이가 되는지.
비행시간(ToF): 빛이 되돌아오는 시간을 잰다
**비행시간(Time of Flight, ToF)**은 더 직관적입니다. 카메라가 적외선 펄스를 쏘고, 그 빛이 대상에 반사되어 돌아오는 데 걸린 시간을 잽니다. 빛의 속도는 일정하므로, 거리 = 빛의 속도 × 왕복 시간 ÷ 2로 거리가 계산됩니다. 화면의 각 픽셀마다 이 시간을 재면 전체 깊이 맵이 한 번에 나옵니다.
ToF는 구조광보다 먼 거리에 강합니다. 빛 펄스가 점 패턴처럼 흩어지는 문제가 없으므로, 수 미터 거리의 방 전체를 스캔하는 데 쓸 수 있습니다. Kinect 2세대(2013)가 구조광에서 ToF로 바뀌었고, 애플의 LiDAR 스캐너(iPad Pro·iPhone Pro 뒷면)도 ToF의 한 종류(dToF, 직접 비행시간)입니다. LiDAR는 최대 약 5m 거리의 방 구조를 빠르게 읽어 AR 물체를 바닥에 안정적으로 올려놓게 만듭니다.
ToF 안에서도 두 갈래가 있습니다. **dToF(직접식)**는 한 펄스가 돌아오는 정확한 시간을 재는 방식으로, 애플 LiDAR가 쓰는 SPAD(단광자 눈사태 다이오드) 센서가 여기에 해당합니다. **iToF(간접식)**는 연속파의 위상 변화로 거리를 추정하는 방식으로, 구형 Kinect v2나 많은 안드로이드 ToF 센서가 여기에 해당합니다. dToF가 먼 거리·밝은 환경에서 더 강합니다.
ToF의 약점은 햇빛입니다. 태양광에도 적외선이 많이 들어 있어, 야외에서는 센서가 보낸 적외선보다 태양 적외선이 더 강해 측정이 흐려집니다. 그래서 뎁스 카메라는 실내나 팔길이 거리에서 가장 잘 작동합니다.
거리 = 빛의 속도 × 왕복 시간 ÷ 2. dToF는 시간을 직접 잠고, iToF는 위상차로 추정한다.
스테레오 비전(Stereo): 두 눈으로 거리를 재는 방식
스테레오 비전은 사람의 두 눈처럼, 일정 간격(baseline)으로 떨어진 두 대의 카메라로 같은 장면을 찍어 시차로 거리를 냅니다. 가까운 물체는 두 눈에 서로 다른 위치로 보이고(시차 큼), 먼 물체는 거의 같은 위치로 보입니다(시차 작음). 시차는 거리에 반비례하므로, 시차를 재면 거리가 나옵니다. 빛을 쏘지 않는 수동식입니다.
순수 스테레오의 약점은 질감 의존성입니다. 하얀 빈 벽 같은 질감 없는 표면에서는 두 카메라가 어느 점이 어느 점인지 짝짓기(matching)를 못 해 시차를 잡지 못합니다. 이를 보완하려고 적외선 플러드 조명을 쏘아 질감을 인공적으로 만드는 능동 스테레오도 있습니다. 인텔 RealSense 일부 모델이 적외선 조명 두 대와 적외선 카메라 두 대를 써서 이 방식으로 깊이를 냅니다.
스마트폰의 **인물 사진 모드(아웃포커싱)**는 대개 두 대 렌즈의 스테레오 시차와 머신러닝을 결합해 깊이를 추정합니다. 듀얼 카메라가 있는 일반 스마트폰은 별도의 뎁스 센서 없이도 두 렌즈의 시차로 피사계 심도를 만듭니다. 다만 이 방식은 구조광·ToF만큼 정밀하지 않고, 질감이 부족하거나 빛이 부족한 환경에서 약합니다.
가까운 물체는 두 화면에서 멀리 떨어져 보이고, 먼 물체는 거의 같은 위치로 보인다.
세 방식 비교
| 방식 | 원리 | 강점 | 약점 | 대표 사례 |
|---|---|---|---|---|
| 구조광 | 알려진 패턴 투사 후 변형 읽기 | 가까운 거리 고정밀 | 먼 거리 부적합, 햇빛 간섭 | iPhone TrueDepth, Kinect v1 |
| 비행시간(ToF) | 빛 왕복 시간 측정 | 먼 거리·넓은 공간 가능 | 햇빛 간섭, 전력 소모 | Apple LiDAR, Kinect v2 |
| 스테레오 비전 | 두 카메라 시차 | 전력 적게 씀, 수동식 | 질감 의존, 어둠 취약 | 인물 모드 듀얼 렌즈, RealSense |
세 방식은 경쟁이 아니라 거리축 위에서 나뉜 보완 관계다.
스마트폰에서 뎁스 카메라가 하는 일
뎁스 카메라가 스마트폰에서 하는 일은 얼굴 인식 하나가 아닙니다. Face ID는 TrueDepth의 깊이 맵과 적외선 영상을 신경망(secure enclave 안의 신경 엔진)이 수학적 표현으로 바꿔 등록된 얼굴과 비교합니다. 깊이 정보가 있기 때문에 사진이나 평면 마스크로는 속일 수 없고, 어둠 속에서도(적외선이 쓰므로) 동작합니다. 애플에 따르면 무작위 타인이 얼굴로 잠금을 푸는 확률은 100만 분의 1 미만입니다.
ARKit 얼굴 트래킹은 같은 TrueDepth 데이터로 얼굴의 52개 블렌드셰이프(눈 감음·입술 웃음·눈썹 올림 등의 표정 계수)를 실시간으로 뽑아냅니다. 이 값이 Animoji와 얼굴 필터, 그리고 VTuber의 얼굴 트래킹(이 블로그의 CodeMiko 글에서 다룬 iPhone + Live Link Face 세팅)을 가능하게 합니다. 뎁스 카메라는 “얼굴이 어디 있는가”를 넘어 “표정이 어떤가”까지 숫자로 만드는 출발점입니다.
인물 사진 모드는 두 렌즈의 스테레오 깊이(또는 LiDAR 깊이)로 피사체와 배경을 나누고, 배경만 인위적으로 흐리게 만들어 DSLR의 아웃포커싱을 흉내 냅니다. **AR(증강현실)**은 LiDAR가 방 바닥·벽·가구의 깊이를 읽어, 가상 물체를 실제 바닥 위에 올려놓고 카메라가 움직여도 그 자리를 유지하게 만듭니다. 깊이가 없으면 가상 물체가 바닥을 뚫고 떠 있거나 카메라를 돌릴 때마다 튀어 버립니다.
정밀도와 한계: TrueDepth를 직접 재본 연구
TrueDepth가 실제로 얼마나 정확한지 독일 일메나우 공과대학 연구진이 직접 측정한 결과가 있습니다. iPhone X의 TrueDepth 센서를 1401,000mm 거리에서 테스트한 결과, **측정 오차는 밀리미터 수준, 거리 대비 최대 5%**였습니다. 최소 작동 거리는 150mm로, 그보다 가까우면 깊이 데이터가 나오지 않았습니다. 질감이 없거나 광택이 있는 표면에서는 안정 측정에 필요한 최소 거리가 300500mm까지 늘어났습니다.
가장 큰 외부 영향은 햇빛이었습니다. 태양광에 포함된 적외선이 센서가 쏜 적외선을 덮어버리기 때문입니다. 반면 실내 조명은 앞·뒤 어느 쪽에서 비춰도 거의 영향을 주지 않았습니다. 보는 각도는 80도까지 기울여도 결과에 부정적 영향이 없었습니다. 연구진은 TrueDepth가 “거친 장면 스캔”에는 쓸 수 있지만, 정밀 측정이 필요한 부분은 별도의 정밀 시스템과 결합해야 한다고 결론지었습니다.
이 한계가 왜 중요한지는 용도에 달려 있습니다. 얼굴 인식·표정 트래킹 같은 팔길이 거리의 작은 입체에는 충분히 정밀합니다. 그러나 방 전체를 밀리미터 단위로 모델링하거나 야외에서 쓰려면, 구조광(TrueDepth)보다는 ToF(LiDAR)나 정밀 산업용 스캐너가 적합합니다. 세 방식은 경쟁이라기보다 거리·환경·용도에 따라 나뉜 보완 관계입니다.
어떻게 연결되는가
한 줄로 요약하면: 뎁스 카메라는 2D 사진이 버린 깊이를 구조광·비행시간·스테레오 비전 세 방식으로 되찾아, 얼굴 인식과 AR과 인물 사진을 가능하게 한다는 이야기입니다.
구조광(TrueDepth)은 가까운 거리의 미세한 입체를 고정밀로 잡고, 비행시간(LiDAR·Kinect v2)은 먼 거리의 넓은 공간을 다루며, 스테레오 비전(듀얼 렌즈·RealSense)은 적은 전력으로 거리를 추정합니다. 공통의 약점은 햇빛의 적외선 간섭이고, 공통의 산물은 화소마다 거리 값을 가진 깊이 맵입니다. iPhone 한 대에 앞면 TrueDepth(구조광)와 뒷면 LiDAR(ToF), 그리고 듀얼 렌즈 스테레오가 공존하는 까닭은, 하나의 방식으로는 가까운 얼굴과 먼 방을 동시에 잘 잡을 수 없기 때문입니다.
출처: About Face ID advanced technology — Apple Support · Biometric security — Apple Platform Security · How Apple’s iPhone X TrueDepth Camera Works — ExtremeTech · Measurement accuracy and dependence on external influences of the iPhone X TrueDepth sensor (SPIE 2019) · Apple iPhone 13 Face ID Module 분석 — System Plus Consulting