대중화한 AI, 손쉽게 만들어지는 가짜뉴스·딥페이크…총력전 벌이는 선관위 [②AI와 6·3지방선거]

지난 2월23일 오후 대구광역시선거관리위원회에서 사이버 공정선거지원단원 20여명이 국내외 인터넷 홈페이지 및 SNS 등 온라인에서의 선거범죄 예방·안내 및 단속 활동을 하고 있다. 연합뉴스

6·3 지방선거에서 인공지능(AI)이 화두로 등장했다. 2018년 지방선거에서는 포털과 댓글이, 2022년 지방선거에서는 유튜브가 화두였다면 이제는 AI다. 이미 해외에서는 일본의 신생 정당 ‘팀미라이’의 사례처럼 AI가 선거판에 돌풍을 불러일으키고 있다. 다만 AI가 정치 지형을 바꿀 만큼 획기적인 변화를 가져오려면 가짜뉴스·딥페이크 등 부작용에 대한 우려를 극복해야 한다는 지적도 나온다. 경향신문은 3회에 걸쳐 AI 고도화가 선거와 정치에 미칠 영향을 짚어본다.

지난 3월 울산 지역 구청장 선거를 준비 중이던 더불어민주당 소속 A씨는 자신의 페이스북에 뉴스 형식의 영상을 올렸다. 여성 뉴스 앵커는 영상에서 “미국 시사주간지 타임이 올해 2026년 울산 남구 발전을 이끌 인물로 A씨를 선정했습니다. 표지에는 세계를 주목시킨 리더라는 제목과 함께”라고 말한다. 화면에는 사람들의 환호하는 모습과 A씨 모습이 등장한다.

실제 뉴스처럼 보이는 이 영상은 인공지능(AI)으로 만든 영상이다. 실제로는 타임이 A씨를 남구 발전을 이끌 인물로 선정한 적도, 이 같은 사실이 뉴스에 보도된 적도 없다. 중앙선거관리위원회는 A씨를 500만원 과태료를 부과하고 경찰에 고발했다. 경찰은 이 사건을 수사 중이다.

지난 13일 조국 조국혁신당 경기 평택을 국회의원 재선거 후보가 평택시장에서 양손에 장바구니를 들고 걸어가는 모습의 사진도 논란이 됐다. SNS에선 조 후보의 왼쪽 손이 부자연스럽다며 가짜 사진으로 홍보한다며 비판하는 게시글이 등장했다. 혁신당은 공지를 내고 “조 후보가 전통시장에서 장바구니를 든 모습으로 제작된 AI 생성 이미지는 후보 캠프가 제작·배포한 것이 아니다”라고 밝혔다.

이 사진은 누군가가 조 후보가 실제 봉사활동을 하는 영상을 캡처해 AI로 재가공한 사진이었다. 선관위 관계자는 “게시된 사진들은 유튜브, 페이스북 등 플랫폼에 삭제 요청했다”며 “추가로 올라오는 게시물도 계속 삭제 요청하고 있다”고 말했다.

윤호중 행정안전부 장관이 지난 3월10일 정부서울청사에서 인공지능(AI) 딥페이크 탐지 분석 모델 관련 발표를 하고 있다. 문재원 기자

6·3 지방선거는 생성형 AI가 대중화하고 치러지는 첫 번째 선거다. 25일 선관위에 따르면 이번 선거를 앞두고 선관위가 딥페이크(불법합성물)를 활용한 가짜뉴스 삭제요청을 한 사례는 지난 21일 기준으로 9268건이다. 고발은 2건, 수사의뢰는 1건, 경고는 36건이다. 2024년 22대 총선 당시 적발 건수(389건)보다 압도적으로 늘었다. 누구나 AI를 활용해 손쉽게 영상과 사진을 조작해 가짜뉴스를 만들 수 있는 시대가 도래한 결과로 해석된다.

선관위는 이번 선거에서 AI를 활용한 가짜뉴스와의 전쟁을 선포했다. 440여명 규모 특별대응팀을 구성해 모니터링 등을 통해 딥페이크 영상 단속에 집중하고 있다. 선관위는 국립과학수사연구원 및 한국전자기술연구원과 함께 딥페이크 식별 프로그램 ‘아이기스’를 공동 개발했다. 아이기스를 통해 가짜 영상을 확인해 경미하면 삭제 요청을 하고, 중대 선거범죄일 경우 고발 등 무관용 원칙을 적용한다. 선관위 관계자는 “AI 기술을 활용한 가짜뉴스는 짧은 시간 내에 빠르게 확산될 수 있어 파급력이 매우 크다”며 “신속히 삭제해 조기에 차단하는 것이 무엇보다 중요하다”고 말했다.

2022년 20대 대선 때 당시 국민의힘 대표였던 이준석 개혁신당 대표는 AI로 윤석열 전 대통령을 본뜬 가상의 인플루어서인 이른바 ‘AI 윤석열’을 만들었다. 어떤 질문에도 척척 대답을 내놓는 AI 윤석열은 화제가 됐지만 선거에서 AI 기술 규제 필요성이 대두됐다. 이후 같은 해 6월 지방선거에서 일부 국민의힘 후보들이 AI로 윤 전 대통령이 자신을 지지한다는 가짜 영상을 만들면서 논란이 됐다. 당시 처벌 조항이 없어 논란이 커졌고 2023년 12월 공직선거법 제82조8 신설로 이어졌다.

공직선거법 제82조의8은 선거일 전 90일부터 실제와 구분하기 어려운 AI를 활용한 음향·이미지·영상의 제작·편집·유포를 금지한다. 선거운동을 위해 AI 영상 등을 만드는 것은 물론 퍼뜨리거나 SNS에 게시하는 행위 역시 모두 안 된다는 뜻이다. 어길 시 7년 이하의 징역 또는 1000만원 이상 5000만원 이하 벌금에 처한다. 선거일 90일 이전엔 허용되지만, AI로 만든 정보라는 점을 명확히 표시해야 한다.

AI를 활용해 가상의 만화 캐릭터 등을 만들어서 공약 등을 설명할 수는 있다. AI를 통해 선거 전략을 수립하거나 공약을 만들기 위한 분석 틀 등으로도 활용할 수 있다. 실제 후보로 헷갈릴 수 있는 선거운동 사진·영상을 AI로 만들어선 안 되고 음성·음악에 AI를 활용해선 안 된다는 의미다. AI 기술은 더 발전했지만 역반응으로 규제는 더 강력해진 셈이다.

일각에선 원천적으로 선거운동에 AI 활용을 금지한 것은 과도하다는 목소리가 나온다. 안철수 국민의힘 의원은 지난 19일 페이스북에 “시대 변화를 제대로 담아내지 못한 낡은 규제가 미래 기술의 활용을 막고 있다”며 “악의적 딥페이크는 단호히 막되, AI 기술 혁신과 표현의 자유 역시 함께 보장되는 방향으로 제도 개선이 이뤄져야 한다”고 적었다. 지방선거에 출마한 개혁신당 한 후보는 통화에서 “로고송은 가짜뉴스가 될 가능성도 적은 데 AI를 활용할 수 없다”며 “돈이 없는 후보 입장에선 아쉬운 지점”이라고 말했다.

반면 AI로 만든 가짜영상이 선거 승패에 영향을 주기 때문에 촘촘한 규제가 필요하다는 의견도 강하다. 김민석 국무총리는 지난 20일 AI 가짜뉴스에 대한 무관용 원칙을 강조하며 “AI를 악용한 딥페이크 등 선거범죄는 국민의 합리적 판단을 흐리게 한다”고 했다. 선관위 관계자는 “정치적 표현의 자유 보장, AI 선거운동의 장점 등을 종합적으로 고려해 규제를 현실화하는 제도 개선이 필요하다”고 말했다.

박순봉 기자 gabgu@kyunghyang.com