3D로 생생하게 구현한 가상 백남준 특별전 만난다

KT가 생성형 AI 기술로 구현한 백남준 작품 '칭기즈 칸의 복권'. /KT

앞으로 한 달 동안 서울 홍익대에 있는 ‘홍익AI뮤지엄’에서 확장현실(XR) 기기를 착용하면 백남준아트센터를 실제로 둘러보는 듯한 체험을 할 수 있다. 눈앞에 백남준 작품인 ‘TV부처’ ‘칭기즈 칸의 복권’ ‘로봇 K-456′ 등이 3D(3차원) 형태로 입체감 있게 나타난다. 작품 배치도 백남준아트센터를 그대로 따랐고, 관람객이 작품에 다가가면 상세한 해설도 제공한다.

KT는 생성형 AI 기술을 활용해 디지털 트윈 공간에 백남준아트센터 특별전 ‘일어나 2024년이야!’를 구현했다고 21일 밝혔다. 디지털 트윈은 현실 세계를 가상의 공간에 그대로 구현하는 기술을 말한다.

KT는 생성형 비전 AI 기술로 실제 예술 작품을 초실감형 3D 모델로 제작했다. 형상은 물론 질감, 재질까지 표현했다. 백남준아트센터의 주요 소장품인 ‘TV 부처’ ‘칭기즈 칸의 복권’ ‘로봇 K-456′ ‘TV 첼로’를 차례로 공개할 예정이다.

전시는 지난 20일 시작돼 앞으로 1개월간 경기도 용인에 있는 백남준아트센터, 홍익대 서울캠퍼스에 있는 홍익AI뮤지엄에서 만나볼 수 있다. 현장에서 확장현실(XR) 기기를 착용하고 관람하면 된다.

관람객이 홍익대 '홍익 AI 뮤지엄'에서 확장현실 기기로 초실감형 3D 백남준아트센터를 감상하고 있다. /KT

‘KT 디지털 트윈 웹사이트(www.ktdigitaltwin.com)’에서도 감상할 수 있다. 저사양 기기에서도 작품을 원활히 감상할 수 있도록 클라우드 스트리밍 기술을 적용했다.

기존 실감형 콘텐츠는 성능이 좋은 컴퓨터로 접속하지 않으면 뚝뚝 끊기고 로딩 시간이 길어지는 문제가 있었다. 회사 측은 “클라우드에서 연산 처리를 하면 관람객이 접속한 기기에 GPU(그래픽처리장치)가 없어도 콘텐츠를 원활하게 즐길 수 있다”고 설명했다.

◇생성형AI가 세부 내용 재구성해 3D 모델 뚝딱

KT는 이번 전시 구현에 생성형 비전 AI를 활용한 3D 기술을 사용했다. 기존에도 사진·영상에서 3D 모델을 구현할 수는 있었지만, 정확한 구현을 위해서는 비싼 특수 장비로 다량의 사진을 찍어야 했다.

생성형 비전 AI 기술을 활용하면 보통 스마트폰 카메라로도 3D 모델을 만들 수 있다. 다양한 각도에서 사진이나 영상을 촬영하면 AI가 모델의 세부적인 기하학적 구조를 재구성해준다. KT는 “특히 우리 기술은 반사광 같은 재질감 표현에 뛰어나, 생성 후 텍스처를 추가 수정하지 않고도 곧바로 사용할 수 있다”고 했다.