딥러닝으로 음성까지 위조... 연예계도 직면한 'AI 사칭' 문제, 대응책은

故 김새론 관련 녹취록 두고 제기된 '딥러닝 AI 조작 음성' 주장
AI 기술 악용한 사칭 문제, 연예계에도 '빨간불'... 전문가가 바라본 대응책은

김세의 가로세로연구소 대표가 지난 7일 오후 서울 강남구 스페이스쉐어에서 열린 배우 김수현의 중대범죄 관련 기자회견에서 공개한 증거 녹취록. 뉴시스

최근 세간을 떠들썩하게 만든 기자회견이 있었다. 유튜브 채널 가로세로연구소(이하 가세연)과 고(故) 김새론의 유족 측 법률대리인이 생전 김새론과 나눈 대화를 녹음했다고 주장하는 제보자 A씨의 녹취 일부를 공개한 것이다. 당시 가세연과 유족 측은 미국 뉴저지에 있는 제보자 A씨가 김새론의 사망 한 달 전에 현지에서 고인을 만나 1시간 30분 분량의 대화를 나눈 녹취록이 존재하며, 해당 녹취에 고인이 미성년자 시절 김수현과 교제를 한 것이 맞다는 내용을 비롯해 각종 가짜 뉴스들로 인한 심적 고통을 토로하는 내용이 담겼다고 주장했다.

실제로 이날 기자회견에서는 이들이 주장하는 녹취 내용 일부가 공개되기도 했다. 해당 음성 파일에는 김새론으로 추정되는 인물이 제보자 A씨와 대화를 나누며 심경을 토로하는 내용이 담겨 있었다. 생전 고인의 목소리와 똑같은 음성이 담긴 녹취록이 공개되면서 여론은 크게 동요했다. 실제 고인의 대화 내용이 공개된 만큼, 이는 가세연과 유족 측의 주장을 뒷받침 할 결정적 증거가 아니냐는 쪽에 힘이 실린 것이다.

하지만 같은 날 이들의 주장을 완전히 뒤집는 주장이 나오며 여론은 또 한 번 술렁였다. 해당 기자회견에서 고인에게 심적 고통을 안겼다고 주장했던 유튜버 B씨는 당일 기자회견을 열고 공개된 녹취록은 딥러닝 AI 기술을 사용해 조작된 허위 증거라고 반박했다.

B씨는 제보자 A씨가 AI 딥러닝을 통해 생성한 가짜 음성 파일로 금전적 이익 등을 취하기 위해 사기를 치는 피싱 사기범이라며 그 증거로 A씨가 앞서 제시한 음성 파일들과 해당 음성 파일이 AI 음성 변조와 조작을 통해 가공된 위변조 음성 파일이라는 내용의 감정 결과서 등을 공개했다.

실제로 B씨가 공개한 음성 파일에서는 앞서 가세연과 유족 측이 공개한 녹취록 일부 내용과 같은 내용의 음성 파일이 고인의 목소리를 비롯해 각기 다른 여성의 목소리, 유사하지만 다른 내용들로 다수 재가공된 모습을 찾아볼 수 있었다. 이를 근거로 B씨는 제보자 A씨가 고인의 AI 영상과 녹취 등을 통해 목소리를 딥러닝 시켰고, 수차례 발전을 거듭한 끝에 고인의 지인들까지 속을 정도로 유사한 목소리를 만들어냈다고 주장했다.

---

고도화되는 AI 기술력, 피해 막을 대응책 현 주소는

고인의 목소리를 딥러닝 시켜 AI 음성 파일로 조작했다는 B씨의 주장은 적지 않은 충격을 전했다. 특히 B씨가 함께 제시한 음성 위변조 정황 증거가 그의 주장에 힘을 실으며, 대중 역시 AI 딥러닝 기술을 통한 사칭 문제가 이미 상당히 발전한 수준이라는 사실에 놀라움을 금치 못했다.

앞서 배우 조인성과 송혜교는 이들의 얼굴을 도용해 조작된 AI 딥페이크 영상이 투자 권유용 홍보 영상으로 사용되며 곤욕을 치렀다. 사진은 딥페이크 기술로 조작된 영상의 한 장면. 유튜브 캡처

AI 딥러닝 기술로 조작된 딥페이크 영상, 음성을 이용한 사칭 문제가 불거진 것은 이번이 처음이 아니다. 최근 AI 딥페이크 기술력이 비약적으로 발전하면서 이를 피싱 사기 등에 악용하는 사례 역시 눈에 띄게 늘어나고 있다. 앞서 배우 조인성과 송혜교는 이들의 얼굴을 도용해 조작된 AI 딥페이크 영상이 투자 권유용 홍보 영상으로 사용되며 곤욕을 치르기도 했던 바다.

딥러닝 기술이 빠르게 발전하면서 결과물의 완성도가 눈에 띄게 높아진 가운데, 이러한 기술을 사용해 영상이나 음성을 제작하는 방법은 인터넷에서 조금만 검색을 해봐도 손쉽게 터득할 수 있는 만큼 이를 악용한 범죄 역시 큰 폭으로 증가하는 추세다. 문제는 여전히 AI 기술이 발전을 거듭하고 있는 만큼 이러한 범죄 역시 앞으로 더욱 활발하게 일어날 가능성이 높다는 점이다.

이러한 상황 속 딥페이크 영상, 음성으로 인한 사칭 피해에 대응할 수 있는 대안 마련에 대한 목소리는 날로 높아지고 있다. 관련해 한국전자기술연구원 지능융합연구소 최병호 소장은 "다양한 기관들에서 딥페이크 음성과 영상의 진위 여부를 탐지할 수 있는 기술을 지속적으로 개발 중"이라고 설명했다.

최 소장은 "딥페이크 기술이 지금처럼 고도화되지 않았던 예전에는 조작된 영상을 보면 눈으로도 쉽게 감별이 가능했다. 하지만 생성형 AI가 점점 학습을 많이 하고 고도화가 되면서 기술이 발전했고, 이제는 단순히 눈으로 보거나 귀로 들어서는 구분이 불가능한 수준까지 진화했다. 기술 발전에 따른 음(陰)을 윤리적으로 개선하려는 움직임도 필요하지만, 악용 범죄를 막을 수 있는 기술 개발도 이루어져야 한다. 백신 역시 바이러스의 고도화와 함께 발전해왔듯, 기술의 비약적 발전에 따라 딥페이크 악용 범죄 역시 고도화될 수 밖에 없는 것을 인정하고 이를 막기 위한 기술을 개발해야 할 것"이라고 강조했다.

실제로 현재 국내 다수 기관에서는 AI 딥페이크로 인한 피해를 막기 위한 기술 개발에 열을 올리고 있다. 최근 대통령 선거를 앞두고 중앙선거관리위원회가 딥페이크 선거 운동을 방지하기 위해 도입한 AI 감별 도구 아이기스(Aegies)가 대표적인 예다. 아이기스는 과학기술정보통신부와 정보통신기획평가원의 지원으로 한국전자기술연구원이 개발한 프로그램으로, 딥페이크 의심 영상을 해당 프로그램에 업로드하면 분석을 통해 영상의 진위 여부를 판별해준다. 이를 통해 딥페이스 의심 영상을 비롯해 최신 기술을 이용해 생성된 AI 이미지 역시 탐지할 수 있다는 설명이다.

최 소장은 "딥페이크 영상, 이미지, 음성 등을 감별하기 위한 기술 개발은 꾸준히 이루어지고 있다. 현재 나와 있는 기술들도 존재하지만, 범용화를 위해서는 보다 정확도를 높이기 위한 기술적 보완이 필요한 단계다. (대응) 기술을 개발하는 사이에도 AI 기술 역시 고도화가 되다 보니, 지속적으로 발전시켜 나가야 하는 상황"이라고 전했다.

피해를 줄이기 위한 기술적 대안 마련도 필요하지만, 이와 함께 법제적 대안 마련 역시 필요하다. 앞서 유럽연합(EU)는 '위험 기반 접근법'을 통해 AI를 네 가지 등급으로 분류하고 각 등급게 맞는 규제를 적용하는 AI 법안을 세계 최초로 추진했던 바, 국내 역시 AI 기술의 발전은 저해하지 않으면서도 기술의 발전으로 인한 피해를 줄일 수 있는 윤리적 가이드라인에 대한 필요성이 날로 높아지고 있다.

홍혜민 기자 hhm@hankookilbo.com