“최가온 ‘900도 회전’ 체험해보시죠”…AI가 1인칭시점 영상 만든다

주재걸 KAIST 김재철AI대학원 교수팀
주인공시점 영상으로 바꿔주는 AI 개발
스포츠 중계·영화 제작 영역 개척 기대

AI 모델 ‘에고엑스(EgoX)’ 시연 예시. 영화 ‘다크 나이트’의 한 장면을 1인칭 시점으로 재구성했다. [KAIST]

지난 22일 막을 내린 밀라노-코르티나 동계 올림픽에는 새로운 중계 화면이 이목을 끌었다. 처음으로 1인칭 시점 드론을 사용해 고속 썰매 등의 종목에서 선수의 시점을 시청자가 직접 볼 수 있게 만든 것이다. 시청자들은 선수들의 상황에 더 몰입해 경기를 즐길 수 있었다.

앞으로는 드론 같은 별도의 촬영 장비 없이도 선수들의 1인칭 영상을 볼 수 있게 됐다. 인공지능(AI)을 활용해 간단한 영상 만으로 1인칭 영상을 재구성할 수 있는 기술이 개발됐기 때문이다. 이를 활용하면 시청자가 영화 속 주인공의 시선을 따라 콘텐츠를 즐기는 것도 가능해진다.

주재걸 KAIST 김재철AI대학원 석좌교수팀은 관찰자 시점의 영상 만으로 영상 속 인물이 실제 보고 있었을 장면을 정밀하게 생성하는 AI 모델 ‘에고엑스(EgoX)’를 개발했다고 23일 밝혔다.

슈퍼맨이 비행하는 영상으로 슈퍼맨의 1인칭 영상을 재구성하는 인공지능 기술이 개발됐다. [사진=KAIST]

이전까지 1인칭 영상을 구하기 위해서는 사용자가 직접 고가의 액션캠을 착용하거나 드론이 따라다니면서 영상을 촬영해야 했다. 드론이 따라다니는 데 한계가 있고, 위험한 구역에는 촬영이 까다롭다는 한계가 있었다.

이번 기술은 일반적인 3인칭 영상만 있으면 자연스러운 1인칭 영상으로 전환할 수 있다. 예를 들어, 스노보드 선수가 경기 중인 중계 영상으로 선수가 직접 보는 시선을 재구성한다. 선수의 고개 움직임에 따라 화면이 미세하게 움직이는 것도 구현 가능하다.

이는 영화에도 활용 가능하다. 화면 속 주인공이 보는 시야를 시청자도 함께 즐길 수 있다. 만약 주인공이 비행기에서 뛰어내리는 장면이 있다면, AI를 활용해 시청자도 비행기에서 떨어지는 시각적 경험을 함께 할 수 있게 된다.

연구진은 3인칭 영상에 나오는 주인공의 움직임과 주변 배경을 재구성했다. 특히 인물의 머리 움직임에 따라 실제 시야가 어떻게 변하는지를 정밀하게 모델링해서 시야가 전환되는 모습을 사실적으로 구현했다.

AI 모델 ‘에고엑스(EgoX)’ 시연 예시. [KAIST]

이번 기술은 영화나 스포츠 중계 시장에 새로운 분야를 개척할 것으로 기대된다. 시청자가 영상 속 상황을 직접 체험하는 듯한 몰입을 줄 수 있기 때문이다. 최근 빠르게 발전하는 증강현실(AR), 가상현실(VR) 기술과 맞물려 이 같은 몰입형 콘텐츠 시장은 더 가파르게 성장할 전망이다.

일상의 활용도나 산업적 가치도 분명하다. 요리, 운동용 교육 컨텐츠도 1인칭 영상을 통해 더 쉽게 내용을 전달할 수 있다. 직접 설명하기 어려운 고난도 작업 공정도 1인칭 영상을 활용하면 교육 능률이 더 높아질 수 있다.

주 석좌교수는 “AI가 사람의 시야와 공간을 학습해 재구성했다는 점에서 의미가 크다”며 “앞으로는 기존에 촬영된 영상만으로 누구나 몰입형 콘텐츠를 제작하고 경험할 수 있게 될 것”이라고 했다.