숭실대 연구팀, ‘립싱크 딥페이크 차단 기술’ 개발…NeurIPS 2026 채택

왼쪽부터 숭실대학교 최대선 교수, 김동현 박사과정생, 김승민 석사과정생, 김다인 학사과정생, 중앙대학교 권준석 교수, 홍진 박사과정생.

숭실대학교 AI안전성연구센터 최대선 교수 연구팀이 중앙대학교 권준석 교수 연구팀과 공동으로 개인의 목소리를 활용한 ‘립싱크 딥페이크’ 제작을 방해하는 기술 ‘MUTE’를 개발했다. 연구 논문은 국제 인공지능(AI) 학술대회 ‘NeurIPS 2026’에 채택됐다.

‘MUTE(Multi-Level Alignment Uncoupling Against Talking-Head Exploitation for Voice Protection)’는 영상이나 녹음 파일을 온라인에 공개하기 전 음성에 사람이 거의 인지하지 못하는 보호 신호를 추가하는 기술이다.

연구팀에 따르면 원래 음성의 자연스러움은 유지하면서 AI가 해당 음성을 이용해 가짜 영상의 입 모양을 생성하는 과정을 방해한다. 보호 처리된 음성을 이용해 딥페이크 영상을 만들 경우 음성과 입술 움직임의 일치도가 떨어지도록 하는 방식이다.

연구팀은 5종의 AI 영상 생성 모델을 대상으로 실험한 결과, MUTE를 적용했을 때 립싱크 정확도가 평균 47.5% 낮아졌다고 설명했다. 음성의 잡음을 제거하는 등 정제 과정을 거친 뒤에도 보호 효과가 유지됐다.

최근에는 사진과 짧은 음성만으로 실제 인물이 말하는 것처럼 보이는 영상을 생성할 수 있어 온라인에 공개된 얼굴이나 목소리가 가짜 광고와 뉴스 등에 악용될 가능성이 커지고 있다. 연구팀은 생성된 딥페이크를 사후 탐지하는 방식에서 나아가 음성을 공개하기 전에 보호하는 데 초점을 맞췄다.

최대선 숭실대 교수는 “AI 기술이 발전하면서 딥페이크도 음성을 바탕으로 실제 인물이 말하는 듯한 영상을 만드는 수준으로 진화하고 있다”며 “얼굴과 목소리 같은 개인정보를 공개 전에 보호하는 기술이 필요하다”고 말했다.

김동현 숭실대 박사과정은 “음성 보호만으로도 립싱크 딥페이크 제작을 방해할 수 있음을 확인했다”며 “향후 이미지 보호 기술까지 결합해 얼굴과 목소리가 딥페이크 제작에 악용되는 것을 막는 기술을 개발할 계획”이라고 말했다.

이번 연구는 개인정보보호위원회와 한국인터넷진흥원(KISA)의 ‘딥페이크 억제 기술 개발’ 연구개발 과제로 수행됐다. 숭실대 연구팀은 2026년부터 2028년까지 음성에 이어 이미지·영상 보호 기술을 개발할 예정이다.

공동연구에는 숭실대 최대선 교수와 김동현 박사과정, 김승민 석사과정, 김다인 학사과정, 중앙대 권준석 교수와 홍진 박사과정이 참여했다. NeurIPS 2026은 오는 12월 호주 시드니 등에서 열린다.

김나혜 인턴기자 kim.nahye1@joongang.co.kr