AI 이용해 옛 영화 자료 3D 입체영상으로 탈바꿈

ETRI, 부산국제단편영화제 상영

시네마 제네시스 캡처 화면. ETRI 제공

인공지능(AI) 기술로 오래된 2D 영상을 3D 입체영상으로 바꾸는 기술이 실제 콘텐츠 제작에 적용됐다.

한국전자통신연구원(ETRI)은 자체 개발한 AI 기반 2차원(2D)-3차원(3D) 변환 기술을 활용해 초기 영화사 자료를 입체영상으로 재구성한 단편영화 '시네마 제네시스'를 제작했다고 10일 밝혔다. 약 4분 분량으로 제43회 부산국제단편영화제에서 상영되며 이후 프랑스 파리에서 열리는 부산국제단편영화제인 'BISFF in Paris'에서도 공개된다.

시네마 제네시스는 영화가 만들어지기까지의 과정에 기여한 인물들을 다룬다. 달리는 말을 연속 사진으로 찍어 '움직이는 이미지'의 가능성을 처음 보여준 에드워드 머이브리지, 사람과 동물의 움직임을 카메라로 기록하는 방법을 연구한 에티엔-쥘 마레, 필름을 돌려 영상을 보여주는 영사기를 발명한 토마스 에디슨, 1895년 관객 앞에서 세계 최초로 영화를 상영한 뤼미에르 형제, 화면 합성과 특수효과를 처음 시도한 조르주 멜리에스 등이다. 인물들의 옛 사진과 영상 자료를 AI로 복원해 3D 입체영상으로 만들었다.

ETRI가 이번에 적용한 핵심 기술은 두 가지다. 하나는 평면 영상에서 물체의 앞뒤 거리를 AI가 스스로 계산해 입체감을 만들어내는 '깊이 추정 기술'이고 다른 하나는 이를 바탕으로 2D 영상을 3D로 자동 변환하는 기술이다. 흐린 사진을 복원하는 데는 두 개의 AI가 서로 경쟁하며 결과물을 개선하는 '생성적 적대 신경망(GAN)' 기술이 쓰였다.

AI가 먼저 손상되거나 흐릿한 옛 사진을 선명하게 복원하고 색을 입힌다. 이후 평면 사진 한 장에서 인물이 얼마나 가깝고 먼지를 계산해 입체감을 만들어내고 사람이 두 눈으로 볼 때 생기는 미세한 시각 차이를 적용해 3D 입체영상으로 완성한다.

이번에 적용한 '계층적 부호화' 기술도 주목할 만하다. 하나의 영상 파일로 2D와 3D 콘텐츠를 동시에 제공할 수 있다. 스마트폰에서는 일반 2D로, 3D 지원 TV나 차량 디스플레이에서는 입체영상으로 각각 볼 수 있는 방식이다. 기존 영상 서비스 인프라를 그대로 쓸 수 있어 별도의 설비 투자 없이 실감형 콘텐츠를 서비스할 수 있다.

김성훈 ETRI 동남권지능화융합연구실 책임연구원은 "AI 영상 생성과 입체영상 변환 기술을 콘텐츠 제작에 적용한 사례"라며 "영화, 드라마, 공연 등 다양한 분야에서 활용돼 국내 콘텐츠 산업 경쟁력 강화와 한류 확산에 기여할 것"이라고 말했다.
 

[임정우 기자 jjwl@donga.com]