AI 영상 생성 난제 풀었다…카카오, 신기술 ‘KATok’ 공개

국제 학회 ECCV에서 발표
영상 프레임 중복성에 주목
AI가 직접 필요한 토큰 갯수 판단

카카오가 인공지능(AI)을 활용한 영상 생성에 필요한 막대한 계산 비용 문제를 해결했다.

카카오는 컴퓨터 비전 분야 국제 학회인 '유럽 컴퓨터 비전 학회'(ECCV)에서 신기술을 발표한다고 9일 밝혔다.

ECCV는 컴퓨터 비전 및 패턴 인식 학회(CVPR), 국제 컴퓨터 비전 학회(ICCV)와 함께 세계 3대 컴퓨터 비전 학회로 불린다. 올해에는 스웨덴에서 오는 12일까지 열린다. 연구를 주도한 이연경 카카오 리서치 엔지니어가 참석해 직접 논문을 발표할 예정이다.

고해상도·장시간 영상 생성 분야에서는 기하급수적으로 불어나는 계산 비용을 줄이는 방안은 세계적인 과제다. 기존의 영상 압축 기술은 영상 내용과 무관하게 고정 비율로만 데이터를 압축해 배경이 멈춰 있거나 움직임이 적은 장면에서도 토큰을 과하게 생성하는 문제가 있었다.

카카오는 영상 프레임 사이 중복성이 높다는 데 주목하고, 시공간적 복잡도에 따라 연산에 필요한 토큰 수를 AI 스스로 판단·조절하는 적응형 토큰화 기술인 'KATok'을 개발했다.

움직임이 크고 정보량이 많은 장면에는 많은 토큰을 배분하고, 정적이거나 단순한 경우에는 중복 토큰을 제거하는 방식이다. 인간이 토큰 수를 지정하지 않아도 AI가 영상 내용에 맞춰 필요한 연산량을 직접 결정한다.

카카오의 실험 결과에 따르면 KATok은 기존 밀집형 토큰화 방식 대비 적은 토큰만으로도 고품질 영상을 재구성해냈다. 또한 기존 대비 영상 생성 모델의 학습 속도는 6.9배, 영상 생성 속도는 3.2배 향상됐다. 영상 복잡도에 따라 AI가 스스로 연산량을 조절하며 고해상도·장시간 AI 비디오 생성의 핵심 기반을 마련했다는 설명이다.

이번 연구는 단순히 데이터를 압축하는 토큰화 단계에 그치지 않고, 압축된 토큰 표현을 비디오 생성 모델까지 연결해 '압축-생성'으로 이어지는 전체 과정의 효율성과 품질을 동시에 확보했다는 점에서 의미가 크다.

카카오는 기술 고도화를 통해 적용 범위를 확대할 방침이다.

최동진 카카오 어플라이드 AI 모델 성과리더는 "고해상·장시간 영상처럼 연산량이 급증하는 환경일수록 KATok의 적응형 토큰화 기술이 발휘하는 연산 절감 효과는 더욱 커질 것"이라며 "향후 다양한 AI 비디오 생성 모델과의 범용성을 검증해, 연산량은 줄이면서도 뛰어난 화질을 유지하는 대규모 비디오 생성의 핵심 기반 기술로 발전시켜 나가겠다"고 말했다.

김영욱 기자 wook95@dt.co.kr

기존 기술(사진 왼쪽)은 영상 내용과 무관하게 모든 토큰을 유지하나, 카카오의 KATok은 영상 내용에 따라 필요한 토큰 수를 판단한다. 카카오 제공