"상황 이해보다 현실감" KAIST, 장면 맞춤형 효과음 생성 AI 개발

사물의 무게와 속도에 따라 달라지는 물리적 특성을 반영해 맞춤형 효과음을 생성할 수 있는 인공지능(AI) 기술이 개발됐다. 흡사 공룡이 눈앞에서 걷는 장면을 보면서, 영상 속 물리적 상황을 이해하는 것이 아니라 소리를 통해 현실감을 더할 수 있게 하는 것이 개발한 기술의 핵심 기능이다.

(왼쪽부터) 오현빈 연구원(제1 저자, 포항공과대학교 통합과정), 타키다 유타(소니 AI 연구원), 우에사카 토시미츠(소니 AI 연구원), 오태현 교수(KAIST 전산학부 부교수), 미츠후지 유키(소니 AI Vice President 및 뉴욕대). KAIST

KAIST는 전산학부 오태현 교수 연구팀이 POSTECH, 소니 AI(Sony AI)와 공동으로 이 같은 기능의 AI 기술 '파바스(Physics-Aware Video-to-Audio Synthesis·PAVAS)'를 개발했다고 26일 밝혔다.

파바스는 영상 속 물체의 질량과 속도 등 눈에 보이지 않는 물리적 정보를 AI가 스스로 추론하도록 설계됐다. 물체의 정확한 무게나 속도가 숫자로 제시되지 않는 일반적 영상과 다르게 AI가 주변 환경과 움직임의 맥락을 분석해 추정한 후 결과를 소리 생성 과정에 반영하도록 한 것이 특징이다.

시각적 사물을 인식하는 수준을 넘어 사물과 주변 환경에서 '왜 이런 소리가 발생해야 하는지' 등 물리적 원인을 AI가 이해하도록 만든 것이다.

기술 검증 결과 파바스는 물체 간 충돌과 타격 등 물리적 상호작용이 발생하는 장면에서 실제 환경과 매우 유사한 소리를 생성했다. 특히 물체의 질량과 속도가 달라질 때 소리의 크기와 음색을 자연스럽게 변화시키는 등 현실감 있는 음향 구현이 가능했다.

최근 영상과 오디오를 동시 생성하는 생성형 AI 기술이 빠르게 발전하고 있다. 구글의 '비오(Veo) 3', 바이트댄스의 '시댄스(Seedance) 2.0' 등이 대표적이다.

다만 기존 상용 AI 모델이 영상과 오디오를 함께 생성하는 데 집중한 것과 달리 파바스는 영상 속 객체의 움직임과 충돌 특성을 분석해 장면과 정밀하게 맞아떨어지는 현실적 효과음을 생성한다는 점에서 구별된다.

파바스 기술 개념도. KAIST

공동연구팀은 파바스를 통해 '물리적으로 일관된 생성 AI(Physical AI)' 분야에 새로운 가능성을 제시했다. 물리적으로 일관된 생성 AI는 단순히 그럴듯한 결과를 만드는 수준을 넘어 현실 세계의 물리 법칙과 인과관계까지 이해하는 AI를 의미한다.

향후 이 기술은 콘텐츠 음향 제작 자동화는 물론 증강현실(AR)·가상현실(VR) 콘텐츠, 메타버스, 로보틱스 시뮬레이션 등 다양한 분야에서 몰입감 있는 사용자 경험을 제공할 것으로 기대된다.

오 교수는 "이번 연구는 AI가 물리량과 인과관계를 직접 이해할 수 있게 설계했다는 점에서 의미를 갖는다"며 "파바스는 향후 텍스트·영상·음성 등 다양한 정보를 동시에 이해·처리하는 차세대 멀티모달 AI의 핵심 기반 기술로 확장될 잠재력을 가졌다"고 말했다.

한편 이번 연구에는 POSTECH 오현빈 통합과정 학생이 제1 저자, KAIST 오태현 교수와 소니 AI의 타키다 유타(Yuta Takida)·토시미츠 우에사카(Toshimitsu Uesaka)·미츠후지 유키(Yuki Mitsufuji) 연구원이 공동 저자로 참여했다.

연구 결과는 컴퓨터 비전(영상 기반 인공지능 기술) 분야 학술대회 'CVPR 2026'에서 오랄(Oral) 발표 논문으로 채택됐다. 오랄 발표 논문은 전체 논문 중 상위 1% 이내만 선정된다는 점에서 연구의 우수성을 입증했다. 논문은 내달 6일 발표될 예정이다.

대전=정일웅 기자 jiw3061@asiae.co.kr