어? 잠깐만, 범인 목소리가 난데?.. 공포의 딥페이크

"누군가 목소리 도용할 수 있다" 우려 커져
일부 빅테크, 딥페이크·안면 인식 기술사용 유보

영상 뿐만 아니라 목소리도 ‘딥페이크(인공지능을 사용한 합성)’로 만드는 기술이 공개됐다. 실제와 구분이 힘들 정도로 기술을 고도화하면서, 악용 우려도 커지고 있다. 일부 빅테크 기업들은 안전한 사용을 담보할 때까지 기술사용 유보를 선언하고 있다.

아마존은 최근 MARS 컨퍼런스를 통해 목소리 딥페이크 기술을 공개했다. 시연 영상에서 한 소년이 “할머니가 오즈의 마법사를 다 읽어주실 수 있을까?”라고 하자 아마존의 AI 서비스 ‘알렉사’가 원래 탑재된 음성으로 “알았다”고 답한다. 이어 소년의 할머니 목소리로 오즈의 마법사를 읽어주는 장면이 연출된다. 돌아가신 할머니가 옆에서 동화책을 읽어주는 듯한 경험을 할 수 있는 것이다.

로힛 프라사드 아마존 알렉사 수석 부사장은 “코로나 펜데믹으로 사랑하는 사람을 많이 잃은 이 시기에 AI 시스템에 인간의 속성을 추가하는 건 매우 중요하다”면서 “AI가 상실의 고통을 제거할 수는 없지만 확실히 기억을 오래도록 남길 수 있다”고 기술의 효용성을 강조했다. 또 “이 기술을 통해 고인과 지속적인 관계를 유지할 수 있으며, 전 세계 많은 사람들이 이런 목적으로 AI를 사용하고 있다”고 말했다.

아마존은 AI 기술을 통해 비교적 간단하게 목소리 딥페이크를 할 수 있다고 강조했다. 프라사드 부사장은 “스튜디오에서 몇 시간 녹음하는 대신 1분 미만으로 누군가의 목소리를 모방하는 법을 배울 수 있다”고 소개했다. 아마존은 이 기술이 언제 상용화할지에 대해서 구체적인 계획을 밝히진 않았다.

음성 딥페이크 기술은 이미 몇몇 업체에서 상용화하고 있다. 사용자들은 이를 ‘소름끼친다’ ‘기괴하다’ 등의 부정적 시선으로 바라보고 있다고 IT매체 더 버지가 전했다. 지난해 선보인 셰프 안소니 부르댕(2018년 사망)의 다큐멘터리에는 AI를 사용해 복원한 그의 음성이 사용되기도 했다. 당시 많은 팬들은 이 기술이 사용된 것에 혐오감을 느끼며 ‘괴상하고 기만적이다’고 반응했다고 더 버지는 지적했다.

특히 누군가 음성을 악용할 가능성이 있다는 것도 문제다. 동의없이 자신의 음성을 사용해 하지도 않은 말을 한 것처럼 꾸밀 수 있다. 음성 딥페이크가 보이스피싱에 사용된다면 지금보다 더 많은 피해자가 발생할 가능성도 있다.

기술 오용 우려 때문에 기술을 사용하지 않기로 결정하는 사례도 나온다. 마이크로소프트(MS)는 최근 AI 서비스에서 안면 분석기능을 삭제하기로 했다. 이 기술을 사용하면 성별, 나이, 인종 등 개인의 기본정보 뿐만 아니라 기쁨, 슬픔, 분노 등 감정 상태까지 분석할 수 있다.

안면 분석기술을 사용하면 시각장애인이나 저시력자들이 시각적 이미지를 해석하는 데 도움을 줄 수 있다. 하지만 악용하면 사람을 감시하는 도구가 될 수 있다는 우려가 높다고 뉴욕타임스(NYT)는 지적했다. MS의 AI 최고 책임자 나탸샤 크램튼은 “우리가 우리 자신을 표현하는 방식에는 엄청난 양의 문화적, 지리적, 개인차가 있다. 감정의 정의에 대한 과학적 합의가 부족하다”고 했다. MS는 이 기술을 안전하고 윤리적으로 사용할 수 있는 가이드라인을 만들 계획이다.

앞서 구글은 2018년 안면 인식 제품 판매를 중단했다. IBM은 조지 플로이드 사망 사건 여파로 2020년부터 정부와 경찰 기관에 안면 인식 기술 공급을 중단했다. 메타(옛 페이스북)는 지난해 얼굴 인식 프로그램을 중단하고 페이스북에 업로드된 사진에서 사람 식별 기능을 삭제했다.

김준엽 기자 snoopy@kmib.co.kr