[포럼] AI와 반도체가 초실감 메타버스 만든다

이태진 ETRI 미디어연구본부장

AI 기술이 우리 삶의 다양한 영역을 바꾸어 가고 있다. 이러한 대변혁의 시대 중심에 정보통신기술(ICT) 기술이 있고 최근 우리가 가장 많이 접하고 친숙한 기술 중 하나가 메타버스이다. 메타버스는 가상과 현실의 경계가 사라진 융합 공간에서 사람과 사물이 서로 소통하고 경험을 공유하면서 경제·사회·문화적 가치를 새롭게 창출하는 세계다. 가상공간 기반의 메타버스를 시작으로 향후 현실과 동일한 공간감, 몰입감을 제공하는 실사 입체영상 기반의 초실감 메타버스로 발전할 것이다.

초실감 메타버스의 실현을 위해서는 현실의 실재 공간을 그대로 획득하여 사용자에게 전달하고 사용자의 다양한 단말 환경에서 초실감으로 재현할 수 있어야 한다. 실재 입체 공간을 그대로 획득하고 재현하는 기술은 라이트필드, 포인트 클라우드, 홀로그램 등이 있다. 사용자가 3차원 입체 공간을 자유롭게 이동하면서 현실과 가상의 차이를 느낄 수 없는 서비스를 제공하기 위해서는 막대한 용량의 데이터를 압축/전달하고 처리할 수 있어야 한다. 가상과 현실의 경계를 허무는 초실감 메타버스는 대용량의 미디어 데이터를 기본으로 하고 있어 대용량 미디어 처리 기술은 초실감 메타버스 실현을 위한 핵심기술이라 할 수 있다.

초실감 메타버스는 빛의 세기와 방향 정보를 획득하고 재현하여 시각적 왜곡이 없는 입체영상을 제공할 수 있는 기술을 기반으로 하고 있으며, 이를 위해서는 기존 4K UHD 데이터의 1백배에서 1천배 이상의 엄청난 데이터가 필요하다. 따라서 이를 전송하기 위해서는 기존 기술의 압축률 한계를 뛰어넘는 새로운 비디오 압축 기술이 요구된다. 아울러, 오디오 압축 기술도 초실감 메타버스 공간에서 실시간 소통과 고품질 체험을 제공하기 위해서는 기존 음성 압축 기술이나 오디오 압축 기술의 한계를 초과하는 저지연과 고품질을 동시에 제공하는 새로운 기술이 있어야 한다.

따라서 기존 비디오·오디오 압축 기술의 한계를 극복하기 위해서는 전통적인 미디어 압축 기술 도구를 AI 기반 압축 도구로 대체해야 한다. 이미 AI 기반의 새로운 압축 도구를 추가하는 다양한 연구가 진행되고 있다. 또한 미디어 압축의 전 과정을 하나의 신경망으로 처리하는 단일 신경망 기반 E2E(End-to-End) 압축 기술도 활발한 연구가 수행 중이다. 최근 미디어 압축 기술에 대한 표준화 단체인 엠펙(MPEG)에서도 AI 기반 비디오·오디오 부호화 기술에 대한 다양한 논의를 하고 있다. 따라서 차세대 미디어 부호화 기술에서는 AI 기술에 대한 활용도가 더욱 높아질 것으로 예측된다.

이와 함께 대용량의 데이터에 대한 높은 연산량이 필요한 AI 기술 기반 초실감 메타버스를 실현하기 위해서는 저전력과 고효율의 AI 반도체 기술도 요구된다. 현재 초실감 메타버스 공간을 획득·생성·압축 및 재현하는 단계별 다양한 형태의 AI 기반 알고리즘 연구가 수행되고 있다. 실-가상 융합 초실감 메타버스를 위해 대규모 센서로부터 실시간 획득한 데이터를 분석·처리한 후 융합공간에 반영하기 위해서는 대용량 데이터를 처리해야 한다. AI 반도체를 활용해 데이터 입출력과 동시에 연산을 처리하면 소비전력을 감소시키고 데이터 처리 효율을 높일 수 있다. AI 기술을 적용한 미디어 압축 기술의 경우 기존 최신 기술 대비 유사하거나 뛰어난 압축 성능을 보여주고 있다. 하지만, 높은 복잡도 및 연산량이 기존기술을 대체하는데 장벽이 되고 있다. 따라서 압축 기술을 개발하는 과정에서 알고리즘 처리에 필요한 거대 인공신경망 구조를 저전력으로 처리할 수 있는 AI 반도체를 동시에 설계·개발하여 상용화할 수 있는 AI 반도체 솔루션을 조기에 확보해야 한다.

우리의 삶을 획기적으로 바꿀 수 있는 초실감 메타버스 서비스를 실현하기 위해 산·학·연·관이 힘쓰고 있다. ETRI를 비롯, 대기업과 대학 등에서 활발한 연구를 진행해 이미 세계와 동등하거나 최고의 성과를 보여주고 있다. ICT 강국 대한민국의 연구자들이 초실감 메타버스 실현을 위한 다양한 기술적 한계에 도전하고 극복해 미래 미디어 서비스의 주역이 되고 국제적으로 기술을 선도하기를 기대해 본다.