[포럼] 생성형 AI로 날개 단 메타버스

정일권 ETRI 콘텐츠연구본부장

메타버스는 허상에 불과한 것인가? 아니면 언젠가는 도래할 미래상인가? 2년 전 한 신문에 메타버스가 새로운 패러다임으로 자리매김할 것이며 우리나라가 우위를 선점해야 한다고 기고했었는데, 현재는 AI의 바람이 워낙 거세서 설 자리가 없는 것 같기도 하다. 메타버스는 이제 한물간 유행일까? 결론부터 말하면 그렇지 않다. 코로나 팬데믹으로 과열되었던 관심이 식었을 뿐 세상은 미래 메타버스 세상으로 나아가고 있고 초거대 AI는 이를 더욱 가속하는 지원군이다.

XR로 통칭되는 VR(가상현실)과 AR(증강현실)은 20여 년 이상의 역사가 있다. 다만, 이들 기술은 컴퓨팅이나 네트워크 성능·속도와 밀접한 연관성으로 인해 컴퓨팅 성능 및 네트워크 발전과 꾸준히 함께 해왔다. AI 기술 또한 오랜 역사가 있었으나 올해 1월 ChatGPT는 전 세계를 깜짝 놀라게 했고 ChatGPT로 대변되는 생성형 AI 기술은 년 단위가 아니라 매달 새롭게 진화와 변신을 거듭하고 있다.

그렇다면 본격적인 메타버스 시대가 열리지 않은 것은 ChatGPT와 같은 변혁적인 신기술이 메타버스 분야에 등장하지 않았기 때문일까? 반은 맞고 반은 틀리다. 메타버스는 가상과 현실이 융합된 공간에서 상호작용하며 경제·사회·문화적 가치를 창출하는 미래 플랫폼이다. 오감을 이용해 실감 나게 소통하고 싶어 하는 것은 인간의 오래된 욕구이다. 시각적 만족을 위해 흑백·컬러·디지털 TV를 거쳐 무안경 입체 디스플레이나 VR/AR HMD로 발전하고 있고 청각, 촉각, 후각을 지원하는 기술도 계속 발전 중이다. 미각은 안전에 대한 우려로 인해 다른 감각을 이용하여 제공하는 트랜스모달리티 기술이나 뇌와 신호를 주고받아 제공하는 BCI(Brain Computer Interface) 기술 연구가 한창이다. 이처럼 메타버스 요소 기술들이 오랫동안 개발되어왔지만, 아직 그 성능이나 수준 면에서 갈 길이 멀다. 전통적인 영상 처리 기법의 성능 한계를 딥러닝 기술이 뛰어넘었듯이 메타버스 기술의 변혁적인 신기술은 바로 초거대 모델 기반의 생성형 AI 기술에서 나올 것이다.

메타버스의 구성 요소가 여러 가지가 있겠지만 가장 중요한 공간, 디지털 휴먼, 상호작용 측면에서 보면 공간에 있어서는 대규모 공간을 빠르고 정확하게 3차원 모델링하는 방향으로 발전되어 왔다. 디지털 휴먼의 경우 인간과 구별하기 어려운 외형을 가지도록 발전되어 왔다. 상호작용의 경우 제스처 등을 통해 자연스럽게 소통할 수 있도록 진보되어 왔다. 하지만 최근에는 생성형 AI를 3차원 모델링이나 애니메이션에 적용하는 연구가 활발하다. 공간 분야에서 NeRF 기술 연구가 활발하고 디지털 휴먼 분야에서는 생성형 AI 기술에 기반한 가상 배우나 아이돌이 이제 더는 낯설지 않다.

생성형 AI 기술에 힘입은 메타버스 또는 XR 기술의 미래 수준은 어느 정도일까? 약 10년 후인 2035년경에는 현재의 도시 규모가 아닌 국가 규모의 초광대역 공간에 대한 고정밀 3차원 모델링 기술로 발전할 것이다. 실시간 부분 갱신이 가능하여 메타버스에 실시간 디지털 트윈 도시가 등장할 것으로 기대된다.

디지털 휴먼 분야에서는 인간과 구별하기 어려운 사실적인 외형은 물론 자율 성장과 지능을 가지도록 발전할 것이다. 상호작용 분야에서는 오감은 물론 감성이나 감정 교류가 가능하도록 발전할 것이며 HMD에 부착된 센서만으로 전신에 대한 정밀한 동작 추적이 가능하여 언제 어디서나 메타버스를 경험할 수 있게 될 전망이다.

미래에는 모두가 핸드폰 대신 스마트 글래스를 가지고 다니며 언제 어디서나 메타버스로 소통하게 될 것이다. 이를 위해서는 위에 언급한 기술뿐만 아니라 초대용량 초저지연 6G 네트워크를 기반으로 한 대용량 미디어 클라우드, 다시점 다초점을 지원하는 라이트필드 기반 디스플레이 등 다양한 분야의 기술이 융합되어야만 한다.

글로벌 대기업들의 발 빠른 움직임에 맞춰 지금이라도 국가 차원에서 대비를 서두르고 선택과 집중을 통한 지원을 게을리하지 말아야 한다. 미래 메타버스 세상에서 우리나라가 전 세계를 선도하는 미래를 꿈꿔본다.