‘오디오투페이스’ 오픈 소스 공개...게임·3D 아바타 제작 가속화
엔비디아가 게임 및 3D 애플리케이션의 아바타 제작을 지원하는 얼굴 애니메이션 기술 ‘오디오투페이스(Audio2Face)’를 오픈 소스로 공개했다.
오디오투페이스는 음성의 억양과 음소를 분석해 실시간 얼굴 애니메이션과 립싱크를 생성하는 기술로, 게임과 고객 서비스용 3D 캐릭터 제작에 활용된다. 해당 기술은 오디오 입력을 기반으로 표정과 감정을 정밀하게 구현해 캐릭터가 사람처럼 대화하고 반응할 수 있게 한다.
엔비디아는 이번에 오디오투페이스 모델과 소프트웨어 개발 키트(SDK), 훈련 프레임워크까지 오픈 소스로 공개했다. 이를 통해 개발자는 엔비디아의 기존 모델을 각자의 서비스 환경에 맞게 미세 조정하거나 맞춤형 애플리케이션을 구현할 수 있다. 학생, 연구자, 독립 개발자 역시 최신 코드에 접근해 학습과 연구, 응용 개발에 활용할 수 있다.
이미 업계에서는 오디오투페이스를 활용한 사례가 늘고 있다. 컨바이(Convai), 코드마스터즈(Codemasters), 인월드 AI(Inworld AI), 넷이즈(NetEase), 리얼루전(Reallusion), 퍼펙트월드 게임즈(Perfect World Games), 스트림랩스(Streamlabs) 등 여러 게임사와 소프트웨어 기업들이 기술을 도입했다. 특히 리얼루전은 오디오투페이스를 자사 캐릭터 제작 플랫폼인 아이클론(iClone)과 캐릭터 크리에이터에 통합해, 얼굴 키 편집과 애큐립(AccuLip) 등 고급 편집 도구와 함께 제공하고 있다.
엘비스 황 리얼루전 혁신 부문 책임자는 “오디오투페이스는 오디오 입력만으로 감정을 담은 다국어 얼굴 애니메이션을 자동 생성한다”며, “다양한 툴과 매끄럽게 연동돼 고품질 캐릭터 제작이 한층 수월해졌다”고 말했다.
엔비디아는 개발자 커뮤니티 디스코드 채널을 운영하며 오디오투페이스 관련 최신 기술 공유와 협업을 지원하고 있다. 이번 공개로 AI 기반 얼굴 애니메이션 기술이 산업 전반에 더욱 빠르게 확산될 것으로 기대된다.
헬로티 이창현 기자 |
