“공룡 발 소리도 더 진짜처럼”…물리적 추론 ‘효과음 생성 AI’

[KBS 대전] [앵커]

영화나 드라마 속 영상에 지금보다 더 실감나게 음향을, 쉽고 빠르게 입힐 수 있는 첨단 기술이 개발됐습니다.

인공지능이 영상 속 물체의 무게와 속도 등을 분석한 뒤 추론 과정을 거쳐 실제와 거의 같은 음향 효과를 만들어 내는 겁니다.

보도에 박장훈 기자입니다.

[리포트]

거대한 공룡이 발을 내딛자 땅이 울리는 듯한 소리가 공간을 울립니다.

KAIST와 POSTECH, 소니AI 연구진이 함께 개발한 인공지능, '파바스'가 만들어낸 음향입니다.

AI가 영상 속 물체의 질량과 속도, 충돌 상황 같은 물리 정보를 분석한 뒤 3D 추론 과정을 거쳐 불과 10초 만에 실감나는 소리를 덧입힌 겁니다.

이 기술을 활용하면 버스가 벽에 충돌했을 때 나는 굉음도 기존 방식보다 훨씬 더 실감나게 만들 수 있습니다.

무게가 다른 아령이 바닥에 떨어졌을 때의 미세한 음량 차이는 물론, 물체의 재질이나 주변 환경, 화면 맥락에 따른 미세한 음색도 구현할 수 있습니다.

[오현빈/POSTECH 통합과정 : "(자동으로) 얻은 질량과 속도 물리량을 이제 AI 모델이 이해할 수 있는 그런 이제 표현으로 변환을 해서 모델에다 넣어주는 방식을 택했습니다."]

정밀한 효과음을 입히는 영화나 드라마의 후반 제작비를 절감할 수 있는데다 가상현실이나 증강현실, 다양한 게임 등에서 몰입감을 더욱 극대화 할 수 있을 것으로 기대됩니다.

[오태현/KAIST 전산학과 교수 : "영상 제작자분들이 가내수공업처럼 이렇게 노동력으로 소리 효과를 만들어내는 그런 작업들을 굉장히 많이 하시는데 그분들의 어떤 일의 퀄리티를 좀 더 올려드리고."]

이번 연구는 세계 최고 권위의 컴퓨터 비전 학회인 'CVPR 2026'에서 전 세계 상위 1% 이내 논문에만 주어지는 '구두 발표' 논문을 선정됐습니다.

KBS 뉴스 박장훈입니다.

촬영기자:강욱현

박장훈 기자 (pjh@kbs.co.kr)