[장인철의 버추얼 호라이즌] “초거대 AI(인공지능)로 ‘버추얼휴먼’도 도약기 맞아…쓰임새 확산 가속화할 것”

버추얼휴먼 스타트업 (주)앙트러리얼리티 이동윤 대표

---

버추얼휴먼 생성 솔루션 '트위닛'으로 'CES 2024'에서 혁신상 수상
"챗GPT 개발로 SF영화 속 전지전능한 버추얼휴먼 구현 가능해졌다"

디지털콘텐츠 속의 캐릭터가 단순한 애니메이션 수준의 게임 캐릭터로부터 인공지능(AI)을 갖춘 실사형 버추얼휴먼으로 급격히 진화하는 중이다. 생성형AI 챗GPT 등장에 따라 조만간 우리는 스티븐 스필버그 감독의 2001년 SF영화 ‘에이 아이(A.I.)’에 등장한 홀로그램 만물박사 ‘다알아박사(Dr. Know)’ 같은 버추얼휴먼을 곳곳에서 만날 것이고, 뮤직영상에선 더욱 진화하고 세련된 진짜 인간 같은 버추얼 아이돌들도 자주 접할 것이다. 물론 거기서 더 나아가면 소프트웨어로 만든 가상의 영상 인간인 버추얼휴먼을 넘어 더욱 인간에 가까운 인조인간, 곧 물리적 외형과 감정과 감각을 가진 휴머노이드의 시대가 된다.

일단 영상 수준의 버추얼휴먼 진화만 해도 다양한 부분 기술들이 필요하다. 사람의 형상을 만들어 내는 그래픽디자인, 각종 동작과 음성을 작동시키는 기술, 나아가 버추얼휴먼이 스스로 사고하고 행동하는 기술도 개발돼야 한다. 세부적으론 그래픽디자인만 해도 버추얼휴먼의 형상을 어떻게 얼마나 고품질로 제작할 것인지, 또 그것을 얼마나 효율적으로 만들어낼 것인지를 두고 산업현장에서는 치열한 연구와 경쟁이 벌어지고 있다.

스타트업 ㈜앙트러리얼리티는 일단 영상 차원의 버추얼휴먼 개발에 주력하고 있는 업체다. 최근 열린 미국 라스베이거스 ‘2024 CES’에서 스마트폰으로 촬영한 인물을 30초 내외에 3D 인물 오브제(가상현실 콘텐츠에서 활용되는 3차원 입체 형상)로 복제하는 솔루션 ‘트위닛(Twinit)’으로 혁신상을 수상했다. 언뜻 생각하기에 3D 인물복원은 그 자체로 의미 있는 수익을 창출할 만한 기술이라기보다는 버추얼휴먼 개발을 위한 하부 기술 정도로 여겨질 수 있다. 하지만 이 회사 이동윤 대표는 “3D 인물복원 기술에 생성형AI나 모션트레킹 기술을 융합할 경우 매우 다양한 응용서비스가 가능하다”며 “3D 인물복원 기술을 잘 응용하면 다양한 분야에게 매력적인 시장을 창출할 수 있을 것”이라고 기대한다.

이동윤 앙트러리얼리티 대표는 5일 한국일보 인터뷰에서 "'트위닛'은 현재 전문 촬영장비를 써도 30분 이상 걸리는 인체 복제 버추얼휴먼 생성시간을 스마트폰을 써서 30초 이내로 줄임으로써 효율성과 경제성을 평가받았다"며 "챗GPT 등에 힘입어 다양한 양식의 버추얼휴먼에 대한 시장 수요가 형성될 것"이라고 기대했다. 박시몬 기자

-‘트위닛’으로 2024 CES 혁신상을 수상했다. ‘트위닛’은 어떤 솔루션이며, 어떤 점이 혁신평가를 받은 건가.

“'트위닛'은 스마트폰 카메라로 인체를 촬영해 30초~1분 이내에 인체의 형상과 모션을 3D 모델링된 인체복제 버추얼휴먼을 생성하는 솔루션이다. 방식 자체가 최초인 기술은 아니다. 이미 스마트폰 촬영을 통한 인체 스캐닝 기술이 등장했고, 스캐닝 데이터를 활용해 3D 모델링하는 방법도 존재한다. 다만 우리는 전문 스캐닝장비를 써도 30분 이상 소요되던 3D 생성 작업을 1분 이내로 단축시키고, 아울러 생성된 3D 모델 인물의 몸짓이나 입모양 등을 실시간으로 동기화하는 동적인 생성까지도 CES에서 구현했다. 응용기술로서 효율성과 경제성, 3D모델링의 퀄리티 등에서 평가를 받은 것 같다.”

---

"가상·증강현실(VR·AR)의 사물·공간 오브제 대신 디지털휴먼 생성에 주력"
"AI 접목해 스캐닝-3D 모델링-텍스처링 등 버추얼휴먼 일관 생성공정 구성"

-‘트위닛’의 어떤 기술적 특성이 신속한 인물 3D 모델링과 몸짓 모션트래킹 등에서 특장점을 가능하게 하는가.

“많은 스타트업들이 가상ㆍ증강현실(VR·AR)에 필요한 3D 사물 오브제나 가상현실 공간 생성 기술을 개발하고 있다. 반면 우리는 인체의 3D 형상과 움직임을 복원하는 데 집중하고 있는 게 차별점이다. 3D 사물 오브제나 가상현실 공간과 달리, 인체는 시간이나 노화에 따라 변화하며 움직임이 있다는 점이 다르다. 따라서 인체 스캐닝이나 모션트레킹 과정도 적잖은 차이가 있다. 우리는 3D 모델링을 통한 인체 및 동작 생성에 노하우가 있는 기술력을 보유했다고 자평한다. 인물 스캐닝-3D 모델링-텍스처링(외형 질감처리) 등의 과정을 AI 기술을 적용시켜 일관 솔루션으로 재구성함으로써 시간을 크게 단축할 수 있었다. ‘트위닛’ 서비스 운영과정에서 인체 이미지 데이터를 축적하고 있으며, 그걸 기반으로 3D 인체 생성 AI 솔루션을 지속적으로 고도화하고 있는 중이다.”

-게임이나 메타버스 콘텐츠에서 애니메이션 수준이었던 캐릭터(아바타)가 빠르게 진화해 최근엔 아예 AI 아이돌 가수가 음악활동을 하는 데까지 이르렀다. 앞으로 버추얼휴먼의 질적 수준과 쓰임새는 어떻게 확장될 거라고 보는가.

“게임 캐릭터까지 광의의 버추얼휴먼에 포함시켜 말하자면, 우선 버추얼휴먼의 발전ㆍ진화 방향은 쓰임새에 따라 궤도를 달리 할 것이라고 본다. 게임 캐릭터라면 사용자와의 상호작용이나 공감이 매우 중요한 요소여서 사용자의 분신으로서 아바타적인 특성이 강화되는 쪽으로, 또 상호작용이 긴밀해지는 쪽으로 발전할 수 있다. 아바타적인 특성이라 함은 캐릭터 디자인이나 상호작용 같은 것에서 사용자가 캐릭터와 보다 긴밀한 동일성을 느끼도록 하는 것 등을 말한다. 반면, 교육 콘텐츠를 진행하는 AI 교사라면 사용자의 분신이 아닌 일타강사가 버추얼휴먼이 되는 게 좋을 것이고, 교습의 신뢰성을 높이기 위해 최첨단 생성형AI 기능이나 의사 표현방식 등도 적용돼야 할 것이다. 나는 첨단 디지털휴먼이 활용되는 범주를 크게 현실에서 인간의 역할을 대체하는 영역과, 현실에서 불가능한 경험을 제공하는 응용서비스 영역으로 나누고 있는데, 현실에서 불가능한 경험 영역에서 디지털휴먼의 쓰임새가 보다 빨리 확고하게 나타날 것이라고 기대하고 있다. 이런 전망의 근거는 지난해 앙트러리얼리티가 생성형AI를 접목한 버추얼휴먼과 이용자가 채팅을 하는 ‘AI채팅’ 서비스의 베타버전을 출시했는데, 미국에서 대박이라고 할 정도로 폭발적인 이용자 유입이 있었다. 그런데 채팅 내용을 분석해 보니, 서브컬처 등 현실에서는 하기 어려운 대화들을 많이 하는 경향이 뚜렷했다. 그래서 버추얼휴먼 킬러콘텐츠도 그런 쪽에서 먼저 활성화할 것이라고 추정하는 것이다. 최근 애플이 출시한 ‘비전프로’ 등 가상현실 체험기기가 킬러콘텐츠 등장을 촉진할 것으로 기대한다.”

---

"버추얼휴먼은 인간 대체 기능보다 현실 불가능한 경험을 제공하는 콘텐츠에서 강점 보일 것"
"애플 '비전프로' 등 가상현실 체험기기가 첨단 버추얼휴먼 수요 창출할 가능성 커"

-캐릭터, 아바타, 디지털휴먼, 버추얼휴먼 등 많은 용어가 혼재하다 보니 좀 혼란스럽다. 각각의 개념을 정리한다면.

“게임 캐릭터는 일정한 유형과 성격을 가진 캐릭터들이 게임 프로그램에 이미 만들어져 있다. 이용자는 그중 하나를 선택하고 캐릭터 코스튬 같은 걸 구입해 자신의 취향을 그 캐릭터에 제한적으로 이입해 게임을 즐기는 식이다. 그런데 거기서 더 나아가면 아예 자신의 모습을 그대로 복제하거나, 처음부터 끝까지 이용자 자신이 만들어낸 버추얼휴먼이라면 이용자와 캐릭터의 동일성이 훨씬 높아질 것이고, 그런 상태의 버추얼휴먼이 아바타 콘셉트가 될 것이다. 다만 버추얼휴먼은 캐릭터나 아바타를 포괄하는 개념이기도 하지만, 요즘은 AI기술이 적용돼 이용자와는 아예 독립돼 스스로 사고하고 표현하고 행동하는 첨단 가상인간을 가리키는 쪽으로 가는 것 같다. 디지털휴먼이 가리키는 대상도 비슷한 것 같고…”

-게임이나 메타버스 등에서 등장하는 캐릭터들은 여전히 애니메이션 수준의 그래픽에 그치는 경우가 많다. 실사 수준의 인체 3D 모델링이 충분히 가능한 기술적 여건에도 실사형보다 애니가 많이 쓰이는 이유는 어디에 있는가.

“콘텐츠 성격에 따라 애니메이션 캐릭터가 좋은 경우도 있고, 실사 수준의 버추얼휴먼이 필요한 경우도 있을 거라고 본다. 아이들은 여전히 만화영화를 좋아하지 않는가. 물론 실사 수준의 버추얼휴먼이 대체로 좋지만 그럼에도 아직 보편화하지 못하는 건 인프라의 부족 때문이기도 하다. 아직 글로벌 정보통신망이 5G조차도 제대로 기능하지 못하는 수준이다. 이런 여건에선 개발자들이 아무리 정교한 버추얼휴먼이나 초현실적인 가상현실공간을 생성한다고 해도 정보량 폭증 탓으로 콘텐츠 유통과 사용이 큰 지장을 받는다. 따라서 영상 버추얼휴먼도 실사 수준으로 널리 쓰이려면 통신망과 컴퓨팅 용량이 다시 한번 업그레이드돼야 한다고 본다.”

---

"실사 수준의 첨단 버추얼휴먼 널리 쓰이려면 정보기술(IT) 인프라 고도화 필수"
"글로벌 시장규모 25조 이를 뷰티테크에서 인체 복제 버추얼휴먼 시장성 기대"

-산업적 수요와 기술적 여건에 맞춘 앙트러리얼리티의 버추얼휴먼 개발방향은.

“’트위닛’을 활용한 버추얼휴먼 생성기술을 활용해 뷰티테크 시장에 접근하려고 한다. 예컨대 피부 질감과 색조, 체형 등이 실재와 같게 구현된 버추얼휴먼을 이용하면 화장품 색조 테스트나 의류 가상시착 등에 활용될 수 있을 것이다. 지금도 거울 보고 다 할 수 있지 않느냐는 반문이 있을 수 있지만, 옷을 입었을 때 뒤태를 본다든지, 좀 거리를 두고 체형과의 조화 등을 점검할 수 있다는 점이 차별점이다. 화장품도 유사한 방식의 서비스가 창출될 수 있다. 다이어트 피트니스 프로그램, 또는 헬스케어 프로그램에서도 현재 체형과 목표 체형 간 비교 점검 등의 서비스를 구현할 수 있을 것이다. 이런 서비스를 우리는 ‘뷰티 트라이 온(Beauty try on)’이라고 명명했는데, 실현을 위해선 인체 관련 데이터가 충분히 누적돼야 하고, 버추얼휴먼의 색조나 형상 등이 매우 정밀해야 한다. 우리는 초기 베타서비스 수준의 소프트웨어개발도구(SDK)를 구축하고 로레알 등 국내외 유관 기업과 협업을 모색하고 있다. 지금 이쪽 글로벌시장 규모는 5조 원 정도로 분석되고 있으며, 5년 뒤엔 25조 원까지 커질 수 있다고 한다.”

---

"버추얼휴먼 등 국내 AI 기술 활용은 빅테크 원천기술을 차용해 응용서비스하는 구조"
"국내 기업 역량 모아 AI 원천기술이나 컴퓨터·휴대폰 OS 등 원천기술 개발 바람직"

-인체 복제 생성 수준의 버추얼휴먼과 AI챗봇 기능을 갖는 첨단 버추얼휴먼은 기술적으로도 엄청난 차이가 있는데, 스타트업인 앙트러리얼리티에서 첨단 버추얼휴먼 개발에서 빅테크 AI기업들과 경쟁이 가능한가.

“MS나 오픈AI 같은 빅테크 기업들은 프로젝트 한 개에 수억 달러씩 투자를 집행한다. 국내 기업들이 그걸 따라잡기는 어렵다. 그렇다 보니 챗GPT 같은 원천기술 개발은 빅테크의 몫으로 돌아가게 된다. 우리는 대형언어모델(LLM)이든, 이미지와 소리, 비디오 데이터까지 처리하는 대형멀티모델(LMM)이든 원천 AI기술은 차용할 수밖에 없다. 따라서 우리가 개발하는 버추얼휴먼 등은 빅테크기업들과 경쟁한다기보다는 원천기술을 활용한 응용서비스 개발이라고 보는 게 맞을 것이다. AI 원천기술이든, 컴퓨터나 휴대폰 OS든 우리 기업들이 개발하고 보유할 수 있다면 참 좋겠다.”

장인철 수석논설위원 icjang@hankookilbo.com