얼굴은 많은 정보를 보여주는 신체 부분으로, 얼굴을 대상으로 한 연구는 현재까지 왕성하게 이루어져 왔다. 그 중에서도 개인의 3차원 얼굴 모델링을 자동 생성하는 기술은 다양한 분야에서 응용되는 것으로 보여 현재도 활발한 연구 분야 중 하나이다.
Structure-from-Motion에 기초한 방법
대표적인 방법 중 하나는 비디오카메라 등으로 촬영된 여러 장의 화상에서 대상의 3차원 형상 및 카메라 파라미터를 추정하는 Structure-from-Motion(SfM) 문제로서 알려져 있다. 그러나 뺨이나 얼굴과 같이 텍스처가 평평한 부위가 많이 존재하므로 대응하는 특징점을 치밀하게 확보하는 것이 어렵고, 코끝이나 뺨의 굴곡 부분에 대한 섬세한 표현이 곤란하다. 이러한 부위는 복원된 성긴 정점 그룹으로 구성되는 메시를 세분할 처리하여 표현하는 것이 일반적이지만 결과적으로 개성이 충실한 표현에는 이르지 못했다.
사전지식에 기초한 방법
또 한 가지 전형적인 방법은 사전에 갖고 있던 3차원 얼굴 모델을 입력된 얼굴 화상에 정합하도록 최적 형상 변형시키는 것이다. 그러나 특징점 초기 위치나 조명 파라미터는 사용자가 조정할 필요가 있다. 또한, 최적화 시에 추정 파라미터로 한번 잠정 모델을 렌더링하여 입력 화상과의 잔차를 계산해 파라미터를 반복 갱신하는 합성-분석 처리를 거치므로 처리에 긴 계산 시간이 필요하다는 문제가 있다.
하이브리드 방법
이 방법은 변형원이 되는 3차원 얼굴 모델이 범용 얼굴 모델이므로 모퍼블 모델(Morphable Model)과 같은 사전 학습이 불필요하는 이점을 가진 반면, 범용적인 모델 변형에서는 특히 특징점 위치 주변 이외에 대부분의 인물이 동일한 형상으로 표현되기 쉽다는 문제점이 있다.
신하이브리드법(제안하는 방법)
이 방법은 얼굴 모델 정합에 관해서는 Zhang 연구팀의 방법과 SfM에서는 인자 분해법을 이용했다. 개인의 특징이 3차원적으로 양호하게 재현된 것을 볼 수 있다. 또한, 제안 방법의 3차원 모델 성능을 정량 평가하기 위해 마에지마 연구팀의 방법, Choi 연구팀의 범용 모델에 기초한 방법 및 제안 방법에 의해 생성되는 얼굴 모델과 동일 인물의 바른 해 얼굴 모델과의 정점 오차를 계측했다. 여기서 생성되는 모델과 바른 해 얼굴 모델은 ICP 알고리즘에 의해 등록했다.
그 결과, 마에지마 연구팀의 방법은 평균 3.0[mm], 범용 모델에 기초한 방법은 평균 3.5[mm]인데 대해, 제안 방법은 평균 2.4[mm] 정밀도로 3차원 모델을 생성할 수 있었다.
