[뉴스토마토 김동현 기자] 넷마블은 미국 로스앤젤레스에서 개최된 컴퓨터 그래픽 분야 행사 '시그라프 2019(SIGGRAPH 2019)'에서 음성에 맞춰 자연스러운 얼굴 애니메이션을 자동으로 생성하는 '다중작업 방식 음성 기반 얼굴 애니메이션(Multi-Task Audio-Driven Facial Animation, MTADFA)' 기술 논문을 발표했다고 5일 밝혔다.

 

MTADFA는 넷마블이 자체 개발한 딥 뉴럴 네트워크인 멀타넷(Multi-Task Deep neural Networks, MulTaNet)을 활용한다. 실험 데이터가 제공하는 14명의 다른 캐릭터의 음성·얼굴 애니메이션을 동시에 학습하고 이를 활용해 더 많은 캐릭터의 얼굴 애니메이션을 확장 생성할 수 있다.

 

논문을 발표한 안수남 넷마블 AI센터 팀장은 "AI가 자동으로 얼굴 애니메이션을 생성하려면 먼저 음성과 애니메이션이 짝지어진 예시를 보며 학습하는 과정이 필요하다"며 "넷마블의 차세대 기술인 MTADFA는 AI가 더욱 다양한 예시를 학습하도록 해, 기존보다 자연스럽고 안정적인 애니메이션을 생성할 수 있다"고 말했다. 이어 "새로운 언어 음성을 입력해도 입술 움직임을 동기화하는 능력이 우수해 다국어 지원 게임 개발에도 활용도가 높을 것"이라 설명했다.

 

개별 캐릭터를 따로 학습해야 하는 기존 방식은 AI에 충분한 데이터를 제공하지 못해 최종 생성된 애니메이션이 떨리는 현상이 발생했다. 새로운 언어에 대한 동기화가 맞지 않는 문제도 있었다. 오인수 넷마블 AI 센터 실장은 "음성 입력에 맞춰 자연스러운 얼굴 애니메이션을 자동 생성하는 기술을 개발해, 이용자에게 높은 생동감과 몰입감을 제공하는 모바일 게임을 개발할 수 있을 것"이라며 "애니메이션 등 아트 제작 과정도 자동화해 개발 효율성이 더욱 향상될 것"이라고 말했다.

 

 

김동현 기자 esc@etomato.com