포바이포, 롯데홈쇼핑과 가상인간 고도화 나선다

대역모델 없이 움직임에
목소리·표정 실시간 생성
완전 자동화 모델 구축 목표
“촬영 없이 가상인간 콘텐츠
실시간 대량 제작 가능 기대”

포바이포가 롯데홈쇼핑과 픽셀 AI 기술 기반 가상인간 실감화 프로젝트 계약을 체결했다고 6일 밝혔다. 이번 계약은 포바이포가 지난 2021년부터 롯데홈쇼핑과 함께 제작하고 운영해온 가상인간 ‘루시’를 정교하고 자연스럽게 진화시키기 위한 계획의 일환이다.

루시는 현재 수만장의 데이터를 심층학습해 컴퓨터 그래픽으로 정교하게 합성하는 방식으로 구현되고 있다. 지속적으로 라이브 커머스 방송을 진행하고 있다.

두 회사는 루시의 자연스러운 목소리와 말에 어울리는 얼굴 표정 합성·변환 솔루션을 개발하기로 했다. 이는 포바이포에서 영상 화질 고도화 AI 솔루션 ‘픽셀’을 개발한 ‘픽셀사업부문’이 맡는다.

포바이포는 가상인간이 목소리를 표현하는 순간 어색함을 느낄 수 있는 입 모양 싱크와 단어에 어울리지 않는 얼굴 표정을 개선할 수 있을 것으로 기대하고 있다.

루시의 목소리 솔루션 개발을 마치면 글자를 입력해 말하게 하는 방식(TTS)과 실시간으로 들리는 말소리를 루시 목소리로 바꾸는 방식(TTS)이 모두 가능해질 전망이다. 이를 통해 포바이포는 어떤 상황에서도 루시의 음성 정체성을 일정하게 유지하고 대역 모델 변경 리스크로부터 자유로워질 수 있을 것으로 보고 있다.

이번 프로젝트는 조만간 대역 모델 없이 몸의 움직임을 구현하는 단계까지 확장될 예정이다. 루시의 수많은 움직임을 모션 캡처 방식으로 미리 촬영해두고 이 움직임을 AI에 학습시켜 어떤 상황이든 그에 어울리는 동작을 취할 수 있도록 프로그램화 한다는 목표다. 이를 통해 별도 촬영 없이 실시간으로 가상인간 콘텐츠를 대량 생산할 수 있을 것으로 내다보고 있다.

두 회사는 향후 챗GPT 기반의 대화형 엔진을 장착해 인간과 자연스러운 대화를 나눌 수 있는 가상인간을 제작한다는 목표다.

윤준호 포바이포 대표는 “단지 신기함으로 관심을 끌던 가상인간의 시대는 끝났다”며 “산업 내에서 그 가치를 증명하기 위해서는 각각의 가상인간이 만들어내는 독창적인 콘텐츠가 있어야 한다”고 전했다.

포바이포는 가상인간 제작 기술과 게임 관련 자회사 IP(지식재산권)를 적극 활용해 ‘버튜버(가상인간 유튜버)’를 제작해 매니지먼트 하는 방식으로 새로운 비즈니스 모델도 만들어갈 예정이다.