SDV 적용을 위한 단일 RGB 기반 3차원 얼굴 좌표 추정 네트워크

YOLO5Face³⁾는 YOLOv5 아키텍처를 기반으로 얼굴 영역 검출에 특화된 One-Stage 모델이다.

얼굴 검출에 최적화된 앵커 설정과 랜드마크 회귀 헤드를 추가하여, 단일 네트워크에서 얼굴 경계 상자와 눈 ⋅코⋅입꼬리 위치를 동시에 산출할 수 있도록 설계되었다.또한 CSPNet 기반 백본과 PAN-FPN 구조를 활용하여 다중 스케일 특징을 효과적으로 통합하며, 다양한 크기와 비율의 얼굴을 안정적으로 검출할 수 있다. 실제로 WIDER FACE 등 공개 데이터셋에서 높은 정확도와 빠른 추론 속도를 동시에 달성하였으며, 모바일 및 임베디드 환경에서도 활용 가능한 효율성을 보인다.

그러나 YOLO 계열의 근본적인 구조는 범용 객체 검출을 목표로 한 그리드 기반 설계와 손실 함수에 기초하고 있어, 픽셀 단위의 고정밀 위치 추정이 요구되는 얼굴 랜드마크 회귀에는 한계가 있다. 특히 조명 변화나 가림이 빈번한 환경에서는 프레임 간 위치 안정성이 떨어져 누적 오차가 발생하기 쉽다. 또한 기존 검출 헤드에 3차원 좌표 회귀 모듈을 직접 결합할 경우 손실 함수의 균형 조정과 학습 안정성 확보, 앵커 설계 변경 등 구조적 수정이 요구되는 제약이 존재한다.

BlazeFace⁴⁾는 경량화와 온디바이스 추론을 목적으로 설계된 얼굴 검출 모델로, Google의 MediaPipe 프레임워크에서 널리 사용되고 있다. SSD(Single Shot Detector) 계열의 변형된 앵커 전략과 경량 합성곱 연산을 적용하여 연산량을 크게 줄였으며, 128 × 128 해상도의 입력에서도 수백 FPS(Frame Per Second) 수준의 초고속 추론이 가능하다. 또한 YOLO5Face와 유사하게 얼굴 경계 상자와 5점 랜드마크를 동시에 예측할 수 있어, 모바일 및 엣지 디바이스에서의 실시간 추론에 적합하다.

Fig. 2

Multi-head structure and functional roles of each prediction head in the proposed network

하지만 실시간성을 확보한 대신 네트워크의 표현 용량이 제한되어 있어, 다중 스케일 특징 학습 능력과 정밀한 랜드마크 회귀 성능이 낮다는 단점이 있다. 특히 차량 내부와 같이 다양한 자세 변화, 좌석 거리 차이, 부분 가림, 강한 조명 대비 변화가 존재하는 복잡한 환경에서는 검출 안정성이 저하된다. 초경량 구조를 전제로 설계된 모델 특성상, 3D 좌표 회귀 헤드를 추가할 경우 학습 안정성이 낮아지고 태스크 간 손실 균형이 쉽게 무너지는 한계가 있다.

PRNet⁵⁾은 얼굴의 3차원 형상을 복원하기 위해 제안된 대표적 모델로, 단일 2D 이미지로부터 고밀도 3차원 얼굴 복원을 End-to-End 방식으로 수행한다. 이 모델은 3차원 얼굴 표면을 2D 위치 맵 형태로 표현하고 이를 회귀하는 구조를 채택하여, 랜드마크 기반 접근보다 더 풍부한 기하학 정보를 복원할 수 있다. 단일 프레임에서도 얼굴의 전체 깊이와 형상을 예측할 수 있어 포즈 변화나 표정 변형에 강인한 성능을 보였으며, 얼굴 정렬, 표정 인식, 3D 애니메이션 생성 등 다양한 분야에 활용되었다.

그러나 PRNet은 고해상도 입력에서만 우수한 성능을 보이고 연산량이 많아 모바일 및 임베디드 환경에서의 실시간 추론에는 부적합하므로, 차량 내부처럼 비정형 조명 조건이나 극단적 가림이 존재하는 환경에서는 복원된 3차원 형상의 정밀도가 저하되는 한계가 있다.

3DDFA_v2⁶⁾는 기존 3D 얼굴 복원 연구의 한계를 개선하기 위해 제안된 모델로 경량 네트워크 설계와 정규화 전략을 통해 빠르고 안정적인 3차원 얼굴 정렬을 수행한다.

얼굴의 포즈 정규화와 3D 랜드마크 추정을 동시에 수행할 수 있어 다양한 조명⋅자세⋅가림 환경에서도 안정적인 결과를 산출한다. 특히 대규모 데이터셋 기반의 사전 학습과 효율적인 피처 융합 방식을 통해 기존 방식보다 추론 속도가 빠르며, 실시간성 측면에서 실용적인 장점을 갖는다. 입력 영상의 정규화를 통해 데이터 다양성을 효과적으로 보정함으로써, 얼굴 인식 및 3D 분석의 전처리 단계로도 활용 가능하다.

다만, 얼굴의 정규화 과정을 거쳐 포즈를 보정하는 구조적 특성상 차량 내부와 같이 극단적인 회전이나 가림이 빈번한 환경에서는 정규화 과정이 불안정해져 복원 정확도가 저하될 수 있다. 또한 랜드마크 추정과 3D 형상 복원을 동시에 회귀하는 다중 모듈 구조는 손실 함수 간 균형 조정이 어려워, 조명⋅자세 변화가 심한 상황에서는 특정 태스크의 성능 저하를 초래할 가능성이 있다.

얼굴 분류와 바운딩 박스 헤드는 얼굴의 존재 확률과 위치 오프셋을 동시에 예측하는 모듈로, 다단계 피처맵 F_i(i=1,2,3)를 입력으로 받아 각각 독립적인 1 × 1 합성곱 계층을 통해 결과를 산출한다(식 (2)참조).

각 앵커는 하나의 얼굴 후보를 나타내며, 두 헤드는 얼굴 검출 정확도를 결정하는 주요 학습 신호로 작용한다.

랜드마크 회귀 헤드는 2차원 공간에서 얼굴의 주요 특징점(눈, 코, 입꼬리 등)의 위치를 예측하는 모듈로, 각 피처맵 위치에 대해 10차원(5개 포인트 × 2차원 좌표) 벡터를 회귀한다. (식 (3) 참조)

얼굴의 기하학적 구조를 세밀히 인식하도록 피처를 정렬시키는 역할을 하며, 3차원 좌표 회귀 헤드가 안정적으로 수렴할 수 있도록 보조적인 감독신호를 제공한다.

3차원 좌표 회귀 헤드는 각 얼굴 랜드마크의 3차원 위치를 직접 회귀하는 핵심 모듈이다. 기존 2차원 랜드마크 결과에 의존하지 않고, RGB 피처맵 상의 지역 특징을 기반으로 각 앵커 위치에서 3차원 좌표 벡터를 예측한다. 이는 장면 전체의 깊이 맵을 생성하는 방식보다 연산 효율이 높고, 개별 얼굴 단위의 깊이 해상도를 향상시킬 수 있다.

네트워크의 각 단계에서 출력되는 FPN 피처맵을 $$ F_i\in {ℝ}^{H_i\times W_i\times C_i}$$라고 할 때, 좌표 추정 헤드는 각 위치에 대해 5개의 랜드마크 좌표 (x, y, z)를 직접 회귀하여 15차원 출력 벡터를 생성한다. 연산 과정은 식 (4)와 같이 정의된다.

결과적으로 각 피처맵 위치 (u, v) 에서 예측된 벡터는 얼굴 크기 대비 깊이 변화를 정규화하여 서로 다른 거리의 피사체를 안정적으로 비교할 수 있도록 한다.

단계별 피처맵에서 얻은 결과는 채널 방향으로 결합하여 최종 예측으로 통합된다. (식 (5) 참조)

이후 Prior box 및 Variance 정보를 이용한 디코딩 과정을 통해 실제 이미지 좌표계로 복원된다.

해당 구조는 좌표 추정 과정에서 불필요한 전역 시각 정보를 제거하고, 얼굴 후보 주변의 지역 피처 표현에 학습을 집중하도록 설계되었다. 이를 통해 연산 효율을 극대화하면서도 실시간 추론에 적합한 경량 구조를 유지한다. 또한 2차원 랜드마크 회귀 헤드와 병렬적으로 동작함으로써, 두 태스크가 동일한 표현 공간을 공유하며 깊이 방향의 상관관계를 공동 학습할 수 있다.

결과적으로 제안된 네트워크는 RGB 영상 내 명암 대비, 윤곽, 투영 왜곡 등 시각적 단서를 활용하여 3차원 공간 정보를 직접 회귀하며, 깊이 센서 없이도 얼굴의 전후 위치 변화를 정밀하게 추정할 수 있다.

헤드의 학습은 각 랜드마크에 대해 Charbonnier¹¹⁾ 기반 회귀 손실로 정의되고, 각 랜드마크 k에 대한 잔차 $$ r_k={\Vert {\widehat{x}}_k^{3D}-x_k^{3D}\Vert }_2$$를 이용해 식 (6)과 같이 계산된다. 여기서 ϵ는 수치적 안정성을 위한 상수이며, K는 사용된 랜드마크의 총 개수를 의미한다.

보조 특성 융합 헤드는 3차원 좌표 회귀 헤드에서 예측된 결과를 추가적인 기하학적 특성과 결합하여 보정하는 역할을 수행한다. 단일 RGB 영상에서는 조명⋅자세⋅시점 변화에 따른 깊이 단서의 불안정성이 크기 때문에, 얼굴의 형태적⋅통계적 특성을 보조 입력으로 활용해 예측의 안정성과 정밀도를 향상시킨다.

보조 입력 벡터는 바운딩 박스의 크기, 종횡비, 랜드마크 간 거리의 분산으로 구성되며, 이는 식 (7)과 같이 정의된다.

MLP를 통해 임베딩 공간으로 변환되는 동시에 피처맵은 3 × 3 합성곱을 통해 동일 차원의 표현 $$ F^{\text{'}}$$로 투영된다. 이후 두 표현은 채널 방향으로 결합되어 1 × 1 합성곱을 통해 보정량 ∆X^3D을 회귀한다. (식 (8) 참조)

보정 과정은 얼굴 크기⋅자세 변화 및 내부 구조 변형으로 인한 깊이 예측의 불안정성을 완화하며, RGB 피처와 기하학적 벡터를 조건부로 결합함으로써 깊이 추정의 일관성과 공간적 정합성을 강화한다.

그 결과 동일 인물의 시점 변화나 조명 차이가 존재하더라도 $$ \widehat{z}$$ 예측의 분산이 크게 감소하고, 네트워크의 수렴 안정성과 일반화 성능이 향상되는 효과를 얻었다.

모델의 성능은 테스트용 데이터셋 540장을 기준으로 평가하였다. 각 이미지는 단일 또는 두 명의 인물이 포함된 차량 실내 장면으로 구성되어 있으며, 탐지 결과의 신뢰성을 확보하기 위해 얼굴 분류 확률 0.9 이상의 예측 결과만 평가에 포함하였다.

평가 과정에서는 모델이 출력한 다중 얼굴 후보 중 NMS¹²⁾를 통해 중복 영역을 제거한 최종 검출 결과를 대상으로 하였다. 이때 각 예측 얼굴 바운딩 박스는 IoU(Intersection over Union) ≥0.5 기준으로 GT와 매칭하였으며, 매칭된 쌍에 대해 바운딩 박스 위치, 2D 랜드마크, 그리고 3차원 좌표의 오차를 각각 계산하였다. 정량적 평가는 다음 세 가지 지표를 중심으로 수행하였다.

• 1) 2D 랜드마크 오차 (Position error) — 예측된 5개 랜드마크와 GT 간의 평균 유클리드 거리 (px 단위)
• 2) 바운딩 박스 오차 (BBox error) — 예측된 얼굴 영역과 GT 영역의 폭⋅높이 차이의 평균 (px 단위)
• 3) 3차원 좌표 오차 (XYZ error) — 각 랜드마크의 3차원 좌표 차이의 평균 (mm 단위)

모든 오차는 GT 주석이 포함된 CSV 데이터를 기준으로 산출하였으며, 각 예측 결과는 IoU가 가장 높은 GT 항목과 1:1로 대응시켰다. 이후 축 방향별 편차와 전체 3차원 위치 오차의 분포를 시각화하여, 모델의 공간적 안정성과 일관된 좌표 회귀 성능을 분석하였다.

검출 결과, 모델은 모든 테스트 프레임에서 얼굴을 안정적으로 탐지하여 모든 얼굴을 검출했다. 랜드마크 위치에 대한 평균 2D 오차는 3.7 px, 바운딩 박스 크기 오차는 9.9 px로 측정되어, 탐지 네트워크와 회귀 모듈 간의 공간적 정합성이 매우 높음을 확인하였다.

또한 3D 좌표의 평균 오차는 약 105.8 mm 수준으로, 단일 RGB 입력만으로도 전반적으로 양호한 회귀 성능을 보였다. 특히 조명 변화나 시점 이동이 존재하는 상황에서도 탐지 및 랜드마크 회귀가 안정적으로 유지되어, 학습 단계에서 적용된 데이터 증강 전략과 보조 특성 융합 구조가 모델의 일반화 성능 향상에 기여한 것으로 판단된다. 관련 결과는 Fig. 3을 통해 확인할 수 있다.

Fig. 3

Performance evaluation results of the proposed network on the test dataset

Fig. 4는 테스트 세트에서 추정된 3차원 랜드마크의 축별 절대 오차 분포를 시각화한 결과이다. 평균 오차는 X축 13.4 mm, Y축 40.3 mm, Z축 95.1 mm로 나타났다. 좌우(X) 및 상하(Y) 방향의 경우 비교적 작은 오차 범위를 보였으나, 깊이(Z) 방향에서는 약 100 mm 내외의 분산이 관찰되었다. 이는 단일 RGB 영상으로부터 깊이 정보를 직접 복원해야 하는 구조적 한계에 기인하며, 조명 반사나 얼굴 자세 변화가 깊이 단서 추출에 영향을 미친 것으로 분석된다. 그러나 보조 특성 융합 헤드의 적용을 통해 Z축 오차의 분산이 완화되고 평균 오차가 안정적으로 수렴하였다.

Fig. 4

Axis-wise 3D coordinate error analysis of the proposed network on the test dataset

결과적으로, 제안된 네트워크는 깊이 센서 없이도 RGB 입력만으로 얼굴의 3차원 구조를 비교적 정확히 추정할 수 있음을 입증하였다. 이는 실시간 운전자 모니터링과 같은 차량 내 응용 시스템에서 센서 비용을 최소화하면서도 충분한 좌표 추정 성능을 확보할 수 있음을 시사한다.

상기 성능 평가 결과를 바탕으로 제안된 네트워크의 실제 적용 가능성을 검증하기 위해 연산 복잡도와 실시간 처리 성능을 분석하였다. 본 모델은 RetinaFace 구조를 기반으로 3차원 좌표 회귀 헤드와 보조 특성 융합 모듈을 확장한 형태로 구조 확장에 따른 연산 증가와 실시간성 변화를 정량적으로 확인하기 위해 기존 RetinaFace 모델과 비교하였다.

차량 내 임베디드 환경을 고려하여 CPU 기반 추론 성능을 중심으로 평가하였으며, 모든 실험은 Intel® Core™ i7-14700F 프로세서에서 640 × 360 해상도를 기준으로 수행하였다.

추론 속도 평가는 약 1분간 연속 프레임을 처리하여 평균 FPS와 지연 시간을 산출하는 방식으로 수행하였다. 이는 순간적인 처리 속도가 아닌 일정 시간 동안 지속적으로 동작하는 환경에서의 평균적인 성능 특성을 확인하기 위함이다. 측정 결과 기존 모델은 약 36 FPS 수준을 보였고, 제안된 네트워크는 약 24 FPS 수준의 추론 속도를 나타냈다.

연산량 측면에서 제안된 네트워크는 추가 모듈의 도입에 따라 기존 RetinaFace 대비 파라미터 수와 FLOPs가 증가하였다. 그러나 평균 24 FPS 이상의 속도를 유지해 실시간 적용이 가능한 수준임을 확인하였다. 파라미터 수, FLOPs, FPS 및 지연 시간에 대한 상세 비교 결과는 Table 3에 제시하였다.

Table 3

Computational complexity and inference performance comparison between RetinaFace and the proposed network

해당 결과는 RGB 입력만으로 3차원 좌표를 직접 회귀하는 구조적 확장을 고려할 때 연산 증가 대비 효율적인 설계가 이루어졌음을 의미한다. 향후 경량화 및 모델 압축 기법을 적용한다면 제한된 임베디드 환경에서도 안정적인 실시간 처리가 가능할 것으로 판단된다.