더빙에 외국어까지..가상인간 어디까지 진화할까

가상인간 기술이 발전하며 자신만의 콘텐츠를 만들 수 있는 서비스도 대중화되고 있다. (라이언로켓 제공)

‘가상인간(버추얼휴먼)’이 모델, 안내원, 가수, 배우 등 다양한 영역으로 활동 무대를 넓혀가며 대중화되고 있다. 인공지능(AI), 가상현실(VR), 증강현실(AR) 등의 기술이 뒷받침되면서 가상인간이 활약할 수 있는 기반이 탄탄해진 덕분이다. 가상인간을 활용해 자신만의 콘텐츠를 만들 수 있는 서비스도 늘어나는 추세다.

AI 스타트업 ‘라이언로켓’의 AI 기반 콘텐츠 제작 플랫폼 ‘온에어스튜디오’는 누구나 손쉽게 가상인간 콘텐츠를 만들 수 있는 서비스다. 온에어스튜디오는 1인 크리에이터와 영상 콘텐츠에 입문하는 초보자들에 주목했다. 이용자가 원하는 텍스트를 입력하면 AI가 자동으로 더빙부터 자막, 영상 제작까지 완성해 적은 비용과 시간으로 원하는 콘텐츠를 만들 수 있다. 연령대, 성별, 상황별 콘셉트에 따라 활용할 수 있도록 36개 AI 보이스와 9개의 가상모델도 제공한다. 특히, AI 모델은 실존하지 않는 가상 인물을 다채로운 얼굴의 캐릭터로 구현해 간단한 설정만으로 초상권 문제없이 원하는 콘텐츠를 만들 수 있다. 영상합성기술 TTV(Text to Video)를 보유해 정확한 입모양을 구사할 수 있다는 것이 강점이다. 이 같은 기술력에 힘입어 온에어스튜디오는 지난 1~5월 기준 가입자 수가 전년 동기 대비 5배 이상 증가했다. 제작된 프로젝트 수는 같은 기간 4배 이상 늘었다.

외국어를 못해도 가상인간을 통해 다양한 외국어 발화가 가능해진다. 지난 5월 종합 AI 서비스 기업 ‘마인즈랩’은 컴퓨터 비전과 머신러닝·딥러닝 분야 국제학술대회 CVPR의 ‘2022 CVPR Demo Track’에서 다국어 AI 인간 관련 논문을 발표, 다국어 AI Human 기술을 최초 공개했다. 다국어 TTS(Text to Speech)를 적용해 AI 휴먼이 영어, 일어, 중국어를 발화할 수 있도록 한 것이 골자다. 이 기술은 특정 인물의 발화 특성, 얼굴 움직임 등을 그대로 유지한 채 음성 생성과 영상 생성을 동시에 진행할 수 있는 것이 특징이다. 특히, 2시간의 한국어 데이터만으로 4개 국어를 발화하도록 하는 기술을 구현해 눈길을 끌었다. 사용자는 한국어, 영어, 중국어, 일어 4개 국어 중 하나의 언어로 된 텍스트를 입력하기만 하면, 해당 텍스트를 발화하는 영상을 쉽게 얻을 수 있다.

실물인간처럼 정교한 가상인간 제작도 가능해지고 있다. 게임업체 ‘크래프톤’은 자체 기술력으로 제작한 버추얼휴먼 ‘애나’를 선보이며, 버추얼휴먼 사업에 진출했다. 언리얼 엔진 기반 하이퍼 리얼리즘 제작 기술로 피부 솜털과 잔머리까지 극사실적으로 표현, 실제 사람과 흡사한 묘사가 특징이다. 또한, ‘페이스 리깅(Face Rigging)’ 기술로 동공의 움직임, 미세한 얼굴 근육과 주름까지 섬세하게 표현했다. 신체 전체에도 리깅을 적용해 자연스러운 관절의 움직임을 보여준다. 고도화된 음성 합성 등의 딥러닝 기술을 더해 사람처럼 자연스럽게 연기하고 노래할 수 있는 고유 목소리도 입혔다.

가상인간과 인간이 교류하는 것 또한 먼 미래의 일이 아니다. AI 전문 기업 ‘딥브레인AI’의 ‘AI 휴먼’ 솔루션은 음성과 영상 합성, 자연어 처리, 음성 인식 기술을 융합한 대화형 AI 기술을 기반으로 한다. 이용자와 실시간 소통이 가능하며, 사람과 가까운 비주얼을 지닌 가상인간을 만들어낼 수 있다. 립싱크와 움직임, 표정 등 비언어적인 부분에서도 실존 모델 못지않은 완성도의 가상인간을 구현한다. 딥러닝 기반 영상 합성 기술력 덕분이다. 최근에는 연로하신 부모님의 건강한 모습을 AI 휴먼으로 구현해 평생 간직할 수 있는 ‘리메모리(Re;memory)’ 서비스를 선보였다. 부모님 모습을 오래도록 기억하고 싶은 자녀들이 자신의 부모님을 AI 휴먼화해 언제든 생동감 있게 만나고 대화할 수 있다는 설명이다. 향후 순차적으로 본인, 자녀, 친구 등으로 서비스 범위를 확대할 계획이다.

[노승욱 기자]

[ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지]