제작진은 “당신의 마음속 가장 따뜻한 기억은 무엇인가요?” “하늘나라에 있는 가족을 다시 만날 수 있다면 무슨 이야기를 할까요?” 이런 질문을 가지고 휴먼 다큐멘터리와 VR(가상현실)을 접목해 보는 프로젝트를 시작했다.

제작진은 이 프로젝트를 위해 그리움을 가진 수많은 사람을 만나 인터뷰를 진행했고 그 과정에서 아이를 잃은 엄마를 만났다. 네 아이의 엄마였던 장지성 씨는 약 3년 전인 2016년 가을, 일곱 살이 된 셋째 딸 나연이를 떠나 보냈다. 목이 붓고 열이 나기에 그저 감기인 줄 알았던 병은 ‘혈구탐식성 림프조직구증’이라는 희귀 난치병이었다. 나연이가 떠난 건 발병한 지 한 달 만이었다.

엄마의 바람은 단 하루만 다시 만나 나연이가 좋아하던 미역국을 끓여준 뒤 사랑한다고, 한 번도 잊은 적 없다고 말해주는 것이다. 집안 곳곳 나연이 사진을 놓아두고 매달 가는 납골당에는 생전 좋아하던 장난감을 넣어준다. 잊지 않고 영원히 기억하는 의미에서 나연이의 이름과 생일을 몸에 새기고 뼛가루를 넣은 목걸이를 매일 착용한다. 기억하지 않으면 세상에 있었다는 사실이 잊힐까 두렵다는 엄마는 어떻게든 존재했다는 기억을 남기고 싶다. 나연이 가족은 간절한 바람을 담아 이 프로젝트를 시작하게 되었다.

최근 게임과 영화 등 다양한 분야에서 활발하게 사용되는 ‘디지털 휴먼’은 CG를 이용해 사람처럼 감정이 있고 자유롭게 움직이도록 구현한 것을 말한다. 하지만 이 프로젝트에서는 가상의 캐릭터가 아닌 실제로 살았던 아이를 시공간을 초월하는 가상현실로 구현해야 하는 일이라 더 어려운 작업이다.

제작진은 국내 최고의 VR(가상현실), VFX(특수영상) 기술을 가진 비브스튜디오와의 협업을 통해 나연이를 구현하는 작업을 진행했다. VR 속 나연이를 실제 모습에 가깝게 만들기 위해 가족들의 인터뷰와 핸드폰 속 사진, 동영상에 저장된 다양한 얼굴과 표정, 특유의 몸짓, 목소리, 말투를 분석했다. 이 데이터를 토대로 360도로 둘러싸인 160대의 카메라가 비슷한 나이대의 대역 모델의 얼굴과 몸, 표정을 동시에 촬영해 나연이의 기본 뼈대를 만들었다.

그렇게 만든 모델링을 가지고 자연스러운 몸짓을 만들어내는 작업은 실시간으로 움직임을 기록하는 ‘모션 캡처’ 기술을 활용했다. 이 과정을 거치면 찡그리거나 웃는 등의 다양하고 섬세한 표정과 자유로운 팔다리의 움직임 구현이 가능해진다. 이후 표정과 피부의 질감 등을 만들어내는 CG 작업이 계속됐다.

엄마와 나연이의 대화를 가능하게 하고 싶어 목소리 구현 작업도 진행됐다. 완벽한 대화가 가능한 인공지능은 아직 개발되지 않았지만 그럼에도 체험자가 가상현실 속 캐릭터와 상호작용 하며 체험을 하는 동안 짧은 대화가 가능하게 만들어내려 했다. 나연이의 목소리를 구현해내는 데는 수준 높은 AI 음성합성 기술을 보유한 네오사피엔스와의 협업을 통해 진행되었다. 네오사피엔스는 백범 김구 선생의 음성을 생생하게 복원한 콘텐츠 공개로 이미 그 기술력을 인정받았다.

몇 분 남아 있지 않은 짧은 동영상에서 추출한 나연이 음성을 기본으로 하되, 부족한 데이터 분량은 5명의 또래 아이 목소리로 각 800문장 이상의 더빙 후 ‘딥러닝(인공신경망 기반 기계학습)’ 한 과정을 거쳤다.

목소리 외 더 높은 사실감을 위해 나연이 캐릭터는 언리얼 엔진(게임에 사용되는 고사양 엔진)을 바탕으로 만들어 상호작용이 가능하도록 했다. 이는 캐릭터인 CG가 실시간으로 움직이는 데 있어 무리 없이 표현하게 만드는 기술을 선보인다.

이 프로젝트의 목표는 ‘좋은 기억’을 만들어 내는 것이다. 지켜주지 못했다는 미안함과 죄책감을 가지고 살아가는 엄마를 위해 최고의 경험을 선사할 공간을 선정했다. 나연이를 만나게 될 곳은 둘만의 추억이 남아있는 ‘노을공원’이다. 이에 나연이가 뛰어놀던 노을공원의 분위기를 그대로 옮겨왔다.

또한 엄마의 기억을 적극 활용해 나연이가 좋아하던 신발과 옷, 인형 같은 소품으로 꾸며 최대한 현실적으로 표현하려 했다. 더 나아가 아이와 손을 잡거나 물건을 건네주면 받을 수 있도록 설정해 상호작용이 가능한 정교하고 몰입감 높은 체험이 되도록 했다. 이러한 작업이 8개월간 진행됐다.

MBC 버츄얼 스튜디오에서 진행된 ‘만남 이벤트’를 위해 VR 휴먼 다큐멘터리 프로젝트를 함께한 제작진과 기술 엔지니어, 촬영팀, 스태프들이 한자리에 모였다. 그렇게 엄마 장지성 씨는 꿈에라도 한번 보고 싶다던 나연이를 만났다. 눈물로 가득 찬 스튜디오, 지켜보는 모두가 마음속에 있을 꼭 한번 만나고 싶은 사람을 떠올리게 한다.

현재 구현 가능한 최전선의 VR(가상 현실) 기술과 MBC의 고품격 휴먼 다큐멘터리 노하우가 만나 빚어낸 VR 휴먼 다큐멘터리 ‘너를 만났다’는 한 사람의 기억을 넘어 삶과 죽음까지 생각해보게 한다.

‘너를 만났다’는 6일 오후 10시 5분 방송된다.