KAIST 김창익 교수팀, 차세대 패러다임 동영상 인식기술 개발

김창익 교수 연구팀, 동영상 인식 기술의 새로운 패러다임 여는 초고효율 모델 ‘비디오맘바(VideoMamba)’ 개발
낮은 연산 복잡도 및 메모리 사용량, 빠른 추론 속도로 다양한 응용 분야에서 활용 기대

김창익 교수 / 사진=카이스트 제공

KAIST(총장 이광형)는 전기및전자공학부 김창익 교수 연구팀이 초고효율 동영상 인식 모델 '비디오맘바(VideoMamba)'를 개발했다고 23일 밝혔다.

비디오맘바는 기존 트랜스포머 기반 모델들이 가지고 있는 높은 계산 복잡성을 해결하기 위해 설계된 새로운 동영상 인식 모델이다.

그림 1. 비디오맘바의 트랜스포머 기반 비디오 인식 모델 대비 낮은 메모리 사용량과 빠른 추론속도

연구팀의 모델은 선택적 상태 공간 모델(Selective State Space Model, Selective SSM) 메커니즘을 활용해 시퀀스 데이터의 문맥을 더 잘 이해할 수 있고 선형 복잡도로 효율적인 처리가 가능하다. 이를 통해 동영상의 시공간적 정보를 효과적으로 포착해 긴 종속성을 가진 동영상 데이터도 효율적으로 처리할 수 있다.

그림 2. 비디오맘바 내부의 시공간적 전방 및 후방 선택적 상태 공간 모델 상세 구조

연구팀은 동영상 인식 모델의 효율성을 극대화하기 위해 비디오맘바에 1차원 데이터 처리에 국한된 기존의 선택적 상태 공간 매커니즘을 3차원 시공간 데이터 분석이 가능하도록 고도화한 '시공간적 전방 및 후방 선택적 상태 공간 모델(spatio-temporal forward and backward SSM)'을 도입했다.

김 교수는 "비디오맘바의 빠른 처리 속도와 낮은 메모리 사용량, 그리고 뛰어난 성능은 우리 생활에서의 다양한 동영상 활용 분야에 큰 장점을 제공할 것이다"라고 연구의 의의를 설명했다. 김솔문 인턴