투표하지 말라는 바이든?… 선거의 해 '음성 조작' 포비아

조 바이든 사칭 AI 로보콜 '파장'.. 비슷한 어투·음성에 유권자 혼란
재선시 미국 미래 '부정적' 묘사.. 공화당이 만든 정치 광고도 퍼져
제작 비용 저렴하고 추적 어려워.. 이미지·영상보다 음성 활용 잦아
세계 곳곳서 조작 의심사례 발생.. 전문가 "대중 보호장치 마련 시급"

바이든 미국 대통령. EPA·연합뉴스

【파이낸셜뉴스 실리콘밸리=홍창기 특파원】 "11월 선거를 위해 투표를 하지 않는 것이 중요하다. 우리는 투표가 중요할 때 민주당에 투표하는 것이 얼마나 중요한지 알고 있다. 이번 화요일(지난 23일)에 투표하는 것은 공화당이 도널드 트럼프를 2024 공화당 대선후보로 당선시킬 수 있게 만드는 것이다." 미국 뉴햄프셔주 민주당 프라이머리(예비경선)직전 민주당원에게 걸려진 가짜 조 바이든 대통령의 가짜전화(로보콜) 내용의 일부 내용이다. 지난 한 해 동안 오픈AI의 생성형 인공지능(AI) 챗GPT 등의 AI 동영상 생성기 같은 강력한 도구가 확산되면서 AI가 선거를 지배할 것이라는 우려가 현실이 되고 있다. 최근 미국 뉴햄프셔주 민주당 대선 주자 경선을 앞두고 조 바이든 미국 대통령의 AI로 생성된 로보콜이 실제로 유권자들에게 전달되면서 위기감은 더 커지고 있다. AI 기술을 기반으로 만들어낸 가짜 오디오, 가짜 비디오, 가짜 이미지 등 딥페이크(Deepfake)가 선거를 앞두고 사실인 것처럼 둔갑되고 있다. 딥페이크는 딥러닝과 페이크(fake·가짜)의 합성어로 AI를 기반으로 얼굴 생김새나 음성 등을 실제처럼 조작한 이미지나 영상 등을 통칭한다.

■딥페이크 음성·영상 타겟된 바이든

뉴햄프셔주 민주당 프라미어미를 앞두고 등장한 바이든의 가짜 로보콜은 바이든이 평소에 자주 사용하는 "말도 안 되는 소리(a bunch of malarkey)"라는 말로 시작된다. 이어 청취자에게 "11월 선거를 위해 투표를 아껴라"는 말이 이어진다. 투표를 하지 말라는 취지의 발언이 이어지고 마지막에는 "앞으로 전화를 받고 싶지 않으면 2번을 누르면 된다"라는 형식으로 마무리된다.

바이든 대통령이 자주 쓰는 어투와 실제 같은 목소리, 실제 선거전화와 같은 형식은 일부 민주당원들을 혼란스럽게 만들어 신고가 빗발치게 했다.

미국 시민단체 퍼블릭 시티즌의 대표 로버트 와이즈먼은 영국 파이낸셜타임스(FT)에 "뉴햄프셔주의 바이든 목소리 딥페이크 사례는 딥페이크가 선거에 혼란을 야기할 수 있다는 것을 상기시켜 줬다"고 분석했다.

AI로 만들어진 바이든의 딥페이크는 또 존재한다. 바로 미국 공화당이 AI가 생성한 딥페이크 동영상을 사용해 만들어 낸 조 바이든 대통령의 재선 후 미국의 미래를 묘사하는 33초 짜리 정치 광고다.

이 정치 광고는 '미국 역사상 가장 약한 대통령 바이든이 2024년 재선된다면'이라는 문구와 더불어 바이든 대통령과 카멀라 해리스 부통령이 서로를 안고 환하게 웃고 있는 장면으로 시작된다.

이어 중국의 대만 침공 장면과 미국 금융시스템 마비, 이민자로 인한 미국 국경 붕괴, 주지사가 민주당인 캘리포니아주 샌프란시스코를 배경으로 한 강력범죄 폭증의 딥페이크 영상이 차례로 보여진다. 바이든이 재선됐을 경우 발생할 수 있는 최악의 상황을 그려낸 것이다.

AI로 만들어졌다는 표시는 있다. 그러나 정치 광고 왼쪽 상단에 아주 조그맣게 표시돼 이를 식별하기는 상당히 힘든 것으로 지적되고 있다.

전 미국 법무부 관료이자 선거법 전문가 데이비드 베커 선거혁신연구센터(CEIR) 대표는 AP통신에 "로보콜과 속임수는 오래전으로 거슬러 올라간다"면서도 "선거에 영향을 미치기 위해 생성형 AI 오디오가 사용되기 시작한 것은 최근의 일"이라고 설명했다.

■딥페이크 오디오 급속 확산 왜?

최근 AI를 활용한 정치 딥페이크는 이미지나 영상보다 오디오에 초점이 맞춰져 있다. 대중들이 딥페이크 이미지의 존재를 충분히 인식하는데다 딥페이크 음성은 딥페이크 영상보다 제작이 싸고 쉽고 추적이 어려워서다.

AI 딥페이크 전문가인 헨리 아즈너는 "대중들은 이미지와 동영상에 비해 음성이 조작됐다고 생각하지 못하는 경향이 있다"면서 "대중들이 딥페이크 오디오에 취약할 수밖에 없다"고 설명했다.

때문에 지금까지 영국을 비롯해 인도, 나이지리아, 수단, 에티오피아, 슬로바키아 등 지구촌 곳곳에서 AI 딥페이크 음성 조작으로 의심되는 사례가 나왔다.

슬로바키아의 경우 선거를 며칠 앞두고 자유주의 진영 후보가 맥주 가격 인상과 선거 조작 계획을 논의한 것처럼 꾸민 AI 생성 오디오 녹음이 사실인 것처럼 확산됐었다.

딥페이크 오디오 사용이 확산되면서 관련 기업들의 몸값도 상승세다. AI 음성 생성 스타트업인 일레븐랩스의 경우 투자가 쇄도하면서 회사 가치가 11억 달러(약 1조5000억 원)로 평가될 정도로 몸값이 급등하고 있다. 이 회사의 AI 음성 생성 서비스는 한 달에 최저 1달러부터 시작되며 고성능 기능을 사용하려면 330달러를 지불하면 된다.

AI로 조작된 딥페이크 음성은 주로 전화로 퍼진다는 점에서 출처를 추적하기가 쉽지 않다고 전문가들은 지적했다.

AI 딥페이크 전문가 아즈너는 "선거를 앞두고 딥페이크의 순간이 왔다"면서 "서둘러 보호 장치를 마련하지 않으면 선거에서 우리는 대혼란에 직면하게 될 것이다"라고 경고했다.

theveryfirst@fnnews.com 홍창기 기자