영상 속 '깊이 정보'.. AI 알고리즘으로 정확히 알아낸다

광주과기원 전해곤 교수 연구팀

일반적인 카메라로 촬영할 때 나오는 영상화면(왼쪽 첫번째. RGB)과 깊이 정보를 컬러로 나타낸 영상이미지(GIST 제공)© 뉴스1

(광주=뉴스1) 조영석 기자 = 광주과학기술원(GIST, 김기선 총장) 연구진이 영상 속 '깊이 정보'를 인공지능(AI) 알고리즘을 통해 정확하게 추정할 수 있는 기술을 개발했다.

GIST AI대학원 전해곤 교수 연구팀은 28일 AI 기법을 통해 자동 초점 기능에서 사용하는 영상 전체를 이용해 깊이 정보를 보다 정확히 알아내는 알고리즘을 고안했다고 밝혔다.

연구팀은 또 자동 초점 기능을 통해 얻어진 영상을 인공지능 네트워크로 정렬하고, 이를 이용해 깊이 정보까지 추정하는 '엔드-투-엔드' 기법을 세계 최초로 제안했다.

연구팀이 개발한 이번 기술은 3D 가상현실(VR)과 증강현실(AR)의 영상 품질 개선이나 메타버스, 영상 기반 인지 탐지 등과 같은 컴퓨터 비전 응용 분야의 발전에 기여할 것으로 기대된다.

영상 속의 깊이 정보는 AR·VR의 3차원 공간이나 자연스러운 이미지 합성 등 응용하는 여러 분야에서 핵심 요소로 이용되지만 깊이 정보가 없을 경우 3차원 공간 단계에서 부자연스러운 영상이 구현될 수밖에 없다.

이에따라 최근 DSLR 카메라나 스마트폰 카메라의 자동 초점 기능을 통해 얻어진 초점 영상들을 활용해 영상의 깊이 정보를 얻는 연구가 구글 등 글로벌 IT 기업이나 여러 대학에서 진행되고 있다.

하지만 기존 방법론들은 좁은 피사계 심도를 갖는 단일 영상 기반의 깊이 정보를 추정하는 것이 대부분이다.

이 방법은 자동 초점 영상이 정렬되어 있다고 가정하거나 영상 데이터의 특징에 따라 사용자가 직접 추가 설정을 통해 자동 초점 영상을 정렬해야 하기 때문에 깊이 정보의 정확도가 떨어지는 한계가 있다.

연구팀이 AI 기법을 이용한 이번 기술은 다양한 카메라 및 환경 조건에서도 일관된 정확성을 보였다.

연구팀은 촬영한 영상의 화각(field of view)을 메타데이터로 각 초점 별로 계산, 특정 화각에 맞게 잘라내 모든 영상들의 화각을 동일하게 맞춘 뒤 자체적으로 설계한 인공지능 네트워크로 초점 영상들을 추가 정렬시키는 방법을 사용했다.

시험결과 측정한 깊이 정보는 공인 벤치마크에서 오차와 정확도를 측정하는 총 20개의 척도 중 17개 항목에서 1위를 기록할 만큼 잘 정렬된 초점 영상들을 최종적으로 얻을 수 있다.

전해곤 교수는 "이번 연구는 기존에 수동적으로 해결했던 초점거리 영상 정렬과 깊이 정보 추정 알고리즘의 한계를 극복하는 인공지능 모델을 제안한 것"이라며 "인공지능 네트워크를 통해 얻은 깊이 정보를 활용하면 메타버스, 증강현실, 영상 기반 인지 탐지와 같은 응용 분야 발전에 기여할 것으로 기대한다"고 말했다.

이번 연구는 과학기술정보통신부(연구개발특구)와 광주광역시의 지원으로 GIST가 주관하는 '인공지능 기반 메타버스 구현을 위한 융·복합 문화 가상 스튜디오' 과제와 과학기술정보통신부의 'AI혁신 허브' 과제의 지원을 받아 수행됐다.

인공지능·컴퓨터비전 분야 세계 최고 학회인 European Conference on Computer Vision(ECCV)에서 오는 10월 발표될 예정이다.

kanjoys@news1.kr