요즘 내가 제일 잘나가! 실시간 3D 기술로 만든 '디지털 휴먼'

소셜 플랫폼, 광고, 음반 및 메타버스 등으로 활동 영역을 넓히고 있는 디지털 휴먼

최근 디지털 휴먼이 소셜네트워크서비스(SNS) 팔로워 수 10만 명을 돌파했다는 소식이 알려지면서 큰 관심을 모았다. 가상과 현실을 넘나들며 다양한 일상을 공유하고 팔로워들과 적극적으로 소통이 가능한 디지털 휴먼은 국내외 많은 사람들로부터 사랑받고 있다.

게임업계가 그동안 쌓아온 그래픽 기술을 활용해 ‘진짜 사람’에 가깝게 구현한 ‘디지털 휴먼’으로 메타버스 시장에서 차별화에 나서고 있다. 디지털 휴먼이란 인공지능(AI) 챗봇과 컴퓨터 그래픽 기술 등을 합쳐 만든 가상 인간이다.

디지털 휴먼은 디지털 셀럽 또는 버추얼 인플루언서로 성장하면서 주목을 받고 있으며, 광고, 음악, 연기 등 각종 엔터테인먼트 활동에 폭넓게 쓰일 수 있다. ‘2021 메타버스 코리아’에서는 5년 후 파워고객들이 될 10대 SNS 이용자들은 일반 인플루언서보다 버추얼 인플루언서를 2배 이상 팔로워하고 있다고 발표하기도 했다.

그런데 왜 지금에서야 디지털 휴먼이 각광 받고 있는 것일까? 초기 디지털 휴먼은 3D 그래픽에 사람 목소리를 입힌 것에 불과했기 때문에, 누구나 진짜와 구분할 수 있었다. 또한 막대한 운영비용이 들고  표정 및 동작을 구현하는 데 기술적 한계가 있어 활동 영역이 한정됐다.

하지만 최근의 디지털 휴먼 열풍은 ‘실시간 기술’의 발전으로부터 시작됐다. 국내 최초의 실시간 디지털 휴먼은 유니티 실시간 3D 기술을 기반으로 제작된 '수아(SUA')이다. 유니티는 실시간 3D(Real-Time 3D) 콘텐츠 제작 플랫폼 기업으로, 실시간 인터랙티브 2D 및 3D 콘텐츠를 제작, 실행 및 수익화하는 소프트웨어 솔루션을 제공한다. 유니티 코리아의 홍보대사로 활동하기도 하는 수아는 상대방과 영어로 얘기하는 과정에서 이해하지 못할 경우, 알아듣지 못하겠다는 리얼한 표정까지 짓기도 한다.  

수아가 전세계적으로 주목 받는 이유는, 유니티의 실시간 렌더링을 통해 실시간으로 반응하는 디지털 휴먼이기 때문이다. 실시간이 아닌, 오프라인 렌더링이 일반적으로 사용되는 영화나 애니메이션은 미리 렌더링 해놓은 이미지를 프레임마다 나열하여 동영상이 되는 방식이다. 각 씬마다 콘텐츠 제작자가 원하는 카메라 앵글과 모습으로 렌더링을 하도록 설정해 놓고, 고품질의 그래픽을 만들어 내기 위해 많은 연산과 렌더링 시간을 투자한다.

기본적으로 디지털 휴먼 기술은 디지털 환경을 바탕으로 한다. 디지털 환경은 곧 메타버스나 디지털 휴먼 등을 제작할 수 있는 환경, 또 활용할 수 있는 환경을 의미한다. 즉, 유니티라는 플랫폼을 통해 메타버스나 디지털 휴먼을 더욱 정교하게 구현하고 콘텐츠로 선보이고 있다.

다양한 디지털 환경 기반 기술 중, 최근 가장 많이 주목하고 있는 기술들은 가상의 콘텐츠를 구축하고 현실과의 상호작용을 가능케 하는 VR/AR 기술 및 인터랙션 기술이다. 특히 유니티 기술로 제작된 콘텐츠를 통한 VR 경험은 사용자가 즉각 다른 세상으로 이동할 수 있도록 느낄 수 있을 만큼 생생한 디지털 경험을 제공한다. 다른 세상이란 실시간 360도 동영상으로 촬영한 실제 장소일 수도 있고, CG로 제작되고 실시간으로 렌더링하여 합성된 가상의 장소일 수 있다. 유니티의 AR 기술은 그래픽을 겹쳐 쌓아 실제 세계에 마법적인 요소를 더하거나, 장소에 구애 받지 않고 언제 어디서든 가상의 이야기를 현실에 접목할 수 있게 한다.

최근 유니티가 웨타 디지털(Weta Digital)을 인수한 것도 이와 같은 맥락에서 이해할 수 있다. 웨타 디지털은 ‘아바타’, ‘블랙 위도우’, ‘왕좌의 게임’, ‘반지의 제왕’, ‘혹성탈출’, ‘더 수어사이드 스쿼드’ 등의 영화나 TV 프로그램에 등장하는 현실감 넘치는 캐릭터와 오브젝트 등을 제작해왔다. 유니티는 웨타 디지털이 20년 이상 갈고 닦아 발전시켜 만든 안면 캡쳐 및 조작, 해부학적 모델링, 오브젝트 동작 시뮬레이션 등 고급 기술과 이를 구축해낸 최고 수준의 VFX 아티스트와 엔지니어 팀을 인수함으로써, '진짜보다 더 진짜 같은' 디지털 환경 및 디지털 휴먼을 선보일 수 있는 제반 기술을 강화했다.

 

 

유니티 기술 기반으로 제작된 영화 '더 헤러틱'의 주인공 가웨인

디지털 휴먼의 미래 전망

카카오의 자회사 넵튠이 지난해 인수한 온마인드라는 회사에서 유니티 엔진으로 디지털 아이돌 ‘수아’를 개발했다. 수아는 작년 6월부터 현재도 유니티 코리아의 홍보대사로 활동하고 있으며, 최근에는 SNS 등을 통해 지속적으로 소통하여 틱톡 팔로워 수가 1만 5000명을 넘어설 정도로 10대와 20대 사이에서 큰 관심을 받고 있다.

수아가 이처럼 많은 관심을 받고 있는 건 가상 캐릭터를 볼 때 흔히 느끼는 ‘불쾌한 골짜기’가 전혀 느껴지지 않는 실제 사람같이 자연스러운 그래픽에 있다. 유니티 엔진의 HDRP를 기반으로 제작돼 사실적인 피부, 다양한 표정 등 정교한 고해상도 그래픽을 자랑한다.

유니티에서는 수아와 같은 하이엔드 콘텐츠부터 수많은 반 실사, NPR(NonPhotoRealistic), 모바일, 2D 콘텐츠에 이르기까지 디지털 휴먼을 제작할 수 있는 툴과 에셋(Asset)들을 제공하고 있다. 다양한 리소스 다운로드 웹사이트인 에셋 스토어상에서 다양한 에셋들이 유통되고 있기 때문에 무궁무진한 리소스로 수아와 같은 프로젝트처럼 실사급의 고품질 그래픽 구현이 가능하다.

베셀린 에프레모프가 각본과 감독을 맡은 실시간 단편 영화 더 헤러틱(The Heretic)의 주인공인 가웨인은 유니티를 제작으로 개발된 캐릭터다. 디지털 휴먼을 만드는 것은 사람과의 상호작용 등을 하는 인공지능 측면도 있지만, 비주얼이 핵심이라고 할 수 있다. ‘불쾌한 골짜기’라고 하는 어색한 느낌이 없어야 하는 것이다. 이에 피부, 머리카락, 치아, 눈 셰이딩과 같은 각각의 요소에 따라 해결해야 하는 복잡한 문제들이 있으며 가장 어려운 부분은 얼굴의 움직임을 아주 미세한 부분까지 구현해 내는 것이다. 더 헤러틱은 4D를 사용해 이러한 부분들을 극복할 수 있었다.

디지털 휴먼을 만들기 위한 시도는 오래 전부터 계속되어 왔다. 현 상황에서 디지털 휴먼이 업계에서 더욱 주목 받게 된 이유는 기술이 급격히 발전하며 사람보다 더 사람 같은 디지털 휴먼을 제작하는 것이 가능해졌기 때문이다. 이제부터는 본격적으로 디지털 휴먼을 활용할 수 있게 되었고, 앞으로 그 활용 범위는 더욱 무궁무진해 질 것으로 예상된다. 특히, 사람의 언어를 실시간으로 이해할 수 있는 AI가 적용되면 디지털 휴먼의 활용 범위는 비약적으로 넓어질 것으로 예상된다.

근본적으로 디지털 휴먼이 중요한 이유는 결국 이용자들이 원하는 모습으로 자유자재로 활용할 수 있다는 특성에 기인한다. 기업이 원하는 이미지 그 자체의 디지털 휴먼을 제작하는 게 가능할 만큼 비주얼 구현에 한계가 없으며, 이를 통해 제작된 디지털 휴먼을 콘텐츠적으로 활용하는 것도 기업이 가장 필요로 하는 부분에 자유롭게 활용 가능하다.

디지털 휴먼 시장은 메타버스 기술이 성장함에 따라 더욱 커질 것으로 전망되고 있으며, 플랫폼과 기술 기업 중심의 메타버스 산업은 향후 버추얼 인플루언서 등 콘텐츠 중심으로 경쟁력이 판가름 날 것으로 예상된다. 기업은 단순히 새로운 버추얼 인플루언서를 지속 선보이는 것에서 그치는 것이 아니라, 해당 인물이나 캐릭터가 가진 스토리와 세계관을 통해, 가상이지만 생명력 있는 존재로서 MZ세대와의 공감대와 친밀감을 형성하는 것이 핵심이 될 것이다.

류지영 전자신문인터넷 기자 (thankyou@etnews.com)