구글도 놓친 ‘진짜 소리’ 한국이 뚫었다?…영상 속 무게까지 계산하는 AI ‘파바스’ [팩플]

영상 속 물체의 질량과 속도 등 물리적 상황을 이해해 현실감 있는 소리를 생성하는 인공지능(AI) 기술이 국내 연구진에 의해 개발됐다.

영상 속 물리 환경을 이해해 현실감 있는 소리를 생성하는 인공지능(AI) 파바스(PAVAS)를 개발한 연구팀. 오현빈(왼쪽부터) POSTECH 연구원, 타키다 유타 소니 AI 연구원, 우에사카 토시미츠 소니 AI 연구원, 오태현 KAIST 전산학부 교수( 부교수), 미츠후지 유키 소니 AI 바이스 프레지전트. 사진 KAIST

한국과학기술원(KAIST) 오태현 전산학부 교수 연구팀은 26일 포항공대(POSTECH), 소니 AI 공동 연구진과 함께 AI 기술 ‘파바스’(PAVAS)를 개발했다고 밝혔다.

파바스의 핵심은 영상 속 물체의 질량과 속도 등 물리 정보를 AI가 스스로 추론하도록 설계됐다는 점이다. 일반적인 영상에서는 물체의 정확한 무게나 속도 정보가 제시되지 않는데, 연구팀은 AI가 주변 환경과 움직임의 맥락을 분석해 이를 추정하고, 그 결과를 소리 생성 과정에 반영하도록 했다. 예를 들어 거대한 공룡이 걸어오는 장면에서 공룡의 형태나 크기, 무게, 움직임 같은 물리적 특성을 함께 고려해 묵직한 저주파 음을 생성할 수 있다.

최근 미국과 중국 빅테크 기업들 사이에서는 영상과 음성을 동시에 생성하는 AI 기술이 빠른 속도로 발전하고 있다. 구글의 비오3나 바이트댄스의 시댄스 2.0이 대표적이다. 이 AI 모델을 활용하면 명령어(프롬프트)를 입력하거나 이미지 한장을 업로드하는 것만으로도 오디오가 포함된 영화 같은 영상을 만들 수 있다.

하지만 아직까지 이렇게 제작된 영상은 실제 영화나 광고, 게임 제작 현장에서 활용될 때 효과음을 추가하거나 음향을 보완하는 후반 작업이 필요하다. AI가 물리적 환경을 이해한 최적의 소리가 아닌 통계적 확률로 적합한 소리를 입히기 때문이다. 연구진은 “기존 AI 모델들이 영상과 오디오를 함께 생성하는 데 집중했다면, 파바스는 영상 속 객체의 움직임과 충돌 특성을 분석해 장면과 정밀하게 맞아 떨어지는 현실적인 효과음을 생성한다는 점에서 차별성을 가진다”며 “향후 이 기술은 콘텐트 음향 제작 자동화는 물론 증강현실(AR)·가상현실(VR) 콘텐트, 메타버스, 로보틱스 시뮬레이션 등 다양한 분야에서 더욱 몰입감 있는 사용자 경험을 제공할 수 있을 것으로 기대된다”고 설명했다.

이번 연구는 컴퓨터 비전(영상 기반 인공지능 기술) 분야 세계 최고 권위 학술대회인 CVPR 2026(Computer Vision and Pattern Recognition 2026)에서 전체 논문 중 상위 1% 이내만 선정되는 오랄(Oral) 발표 논문으로 채택됐다. 발표는 다음 달 6일 진행될 예정이다.

■ 더중앙플러스 : 팩플

「 더 자세한 기사내용이 궁금하시다면 주소창에 링크를 붙여넣으세요.

인간이 못 푼 희귀 유전질환, 단 며칠만에 찾아낸 ‘AI 과학자’
AI가 인간처럼 생각하고 추론하게 되면 가장 큰 변화가 일어날 곳은 어디일까. 최근 빅테크들이 보여준 행보에서 그 답을 찾는다면 바로 과학이다. 구글은 지난 19일 열린 연례개발자 회의 I/O에서 AI가 인간 과학자들이 오랫동안 풀지 못했던 희귀 유전질환의 원인을 AI가 단 며칠 만에 찾아낸 사례를 공개했다. 하지만 가능성이 커질수록 우려도 커진다. 신약을 설계하는 AI가 독성 물질도 설계할 수 있는 것 아닌가. 생명 현상을 꿰뚫어 보는 AI는 인류를 위협할 바이러스의 제조 매뉴얼까지 순식간에 써내려갈 수 있다. AI는 과학자의 가장 강력한 도구가 될까, 혹은 인간 지능을 압도하는 첫 번째 비(非)인간 연구자가 될까. 빅테크 ‘AI 과학자’ 경쟁의 숨겨진 이면과 실체를 마운틴뷰 현장에서 파헤쳤다.
https://www.joongang.co.kr/article/25431071

개발자 답답해 직접 만들었다…현직 의사의 AI ‘만능 활용법’
오전엔 흰 가운을 입고 환자를 진료하는 의사, 오후엔 책상 앞에 앉아 논문을 파고드는 연구자. 한지원 서울성모병원 소화기내과 교수의 하루는 몸이 열 개라도 부족하다. 밀려드는 최신 논문을 읽고, 새로운 연구를 하고 싶어도 시간은 늘 모자랐다. 해결법을 찾은 건 AI를 본격적으로 파고들면서다. 필요한 논문·리포트·기사 같은 자료를 AI로 수집해 차곡차곡 저장하고, 이를 자동 분석 후 요약·정리한 내용을 메신저 텔레그램으로 받는다. 논문 속 복잡한 분석 알고리즘을 직접 짜고, ‘이런 기능이 있으면 좋겠는데’ 싶은 도구도 AI에 질문에 질문을 거치며 만들어낸다. 의사인 지원은 어떻게 AI를 썼길래 이런 논문 쓰기, 자동화 시스템을 구축할 수 있었을까. 퇴근 시간을 미뤄가며 수십 장의 논문과 보고서를 일일이 읽고, 밑줄 치고, 요약하고 있다면. 기껏 시간 내 읽은 자료가 기존 것과 크게 차이 없어 아까운 시간을 버리고 있다면. 지원의 AI활용법을 통해 시간을 아껴보자.
https://www.joongang.co.kr/article/25430266
」