[GDC 2024] EA가 그리는 페이스 생성의 미래

페이셜 리깅(Facial Rigging)은 얼굴 표정에 움직임을 주기 위해서 얼굴에 포인트를 찍고 조작하는 일련의 과정이다. 최근 여러 게임에서는 얼굴 사진을 그대로 게임으로 불러오는 기능이 왕왕 도입되고 있는데, 어색한 결과물은 물론 불쾌한 감정이 드는 표정까지 짓곤 해 커스터마이징 이후에는 '애매한 기능' 취급을 받고 있다.

EA 산하의 인공지능, 머신러닝 연구 조직 시드(SEED)는 러신러닝 기술을 활용해 얼굴의 구현을 최적화하는 모델을 연구 중이다. EA 시드의 테크니컬 아트 디렉터 하우 응히엡 판(Hau Nghiep Phan)은 이번 GDC에서 사실적인 얼굴 리깅을 위한 자사 파이프라인을 소개했다. /미국 샌프란시스코= 디스이즈게임 김재석 기자​

EA 시드의 하우 응히엡 판 테크니컬 디렉터

최근 주요 게임사들은 여러 대의 고성능 카메라로 얼굴을 스캔하는 '라이트스테이지' 같은 공간을 운영 중이다.

EA는 그간 이를 통해 스포츠 선수 같은 인기 스타들의 얼굴을 제작해왔다. 그러나 스포츠 선수의 얼굴을 본뜬다고 해도 그를 앉혀놓고 여러 연기까지 지시하기에는 어려움이 따랐을 것으로 보인다. 스포츠게임의 팬이라면 자신이 좋아하는 선수가 수십 대의 DSLR 앞에 앉아 얼굴 '본'을 뜨는 모습을 본 적 있으리라.

페이스 리깅은 얼굴의 모든 부분에 점을 찍을 수 없다. 다시 말해서 리깅 결괏값은 얼굴을 투사할 수 없고 따라서 메시(Mesh, 그물눈 모양)가 만들어지는 방식이 아니다. 보통 페이셜 리깅은 눈코입 여러 부분에 가상의 점을 찍고 그 점에서 표정을 연출하는 형태로 이루어진다.​ 일반 표정일 때는 똑같아 보였던 리깅 결과가 표정을 지으면 기괴한 얼굴이 나오는 이유다. 

이를 극복하기 위해 EA 시드는 리그(Rig)에서 벡터를 출력, 얼굴을 새로운 공간으로 인식하는 모델을 연구 중이다. 이름하여 리그-투-메시 기능이다. 설명에 따르면, 얼굴이 메시로 출력되면 보다 폭넓은 연출이 가능하다. 이뿐 아니라 판 디렉터는 이번 GDC에서 스마트폰에서 사진을 찍으면 그것을 메시로 만들어 얼굴을 형성하는 포토-투-리그를 발표했다. 평면의 사진을 3D 모델로 전환하는데, 그것을 리깅해서 점을 찍어서 기존의 사진 인식 결과와는 다른 결과를 도출하는 것이 목표다.

또 EA 시드는 Eye2Eye 프로젝트를 연구 중이다. 머신러닝을 통한 자동화된 프로세스로 메시화(化)한 얼굴을 얼굴의 주인공이 아닌 다른 사람이 연기할 수 있게 하는 기능이다. 

그 대상이 꼭 자신의 얼굴이 아니라고 하더라도 'Eye2Eye'가 이루어져 프로그램 속 모델은 시연자의 표정을 그대로 따라한다. 이를 통해 작업 시간의 단축은 물론 품질 향상까지 꾀할 수 있다. A의 사진을 불러온 뒤, A가 아닌 B가 표정을 연기할 수 하고, 그 결과를 반영할 수 있는 것이다. 

EA 시드는 ​일련의 파이프라인을 조합해서 게임 속 인간의 얼굴 모델과 그 표정을 보다 자연스럽게 만들어내려 하고 있다. 이들은 머신러닝의 결과물을 활용하여 가상의 얼굴을 만들어내는 페이스봇, 여러 얼굴을 조합해 하나의 얼굴을 창조하는 페이스믹서 기술 또한 보유하고 있다.