다음 선거에서 AI 윤석열 이재명 등장하면 규제 가능할까

미국 일본 등 정치인딥페이크 확산
미국 행정명령 통해 '식별표시' 기준 마련 논의
한국선 규제법안 발의, 허위사실공표죄 처벌 가능하단 의견도

[미디어오늘 금준경 기자]

인공지능 딥페이크 영상이 세계적으로 논란이 되고 있다. 조 바이든 미국 대통령 딥페이크 영상에 이어 기시다 후미오 일본 총리 딥페이크 영상도 논란이 됐다. 한국에선 지난 대선 때 후보자측에서 AI를 활용한 딥페이크 영상을 선보인 적 있다. 인공지능이 만든 영상은 '식별표시'를 의무화하는 정책 논의가 이어지고 있다.

미국 이어 일본에서도 정치인 딥페이크 영상 논란

최근 일본에선 일본 방송사 '니혼테레비' 로고와 함께 기시다 총리가 등장하는 영상이 논란이 됐다. 총리가 정장을 입고 나타났고 화면에는 '속보', '생중계' 자막이 떠 긴급 기자회견과 같은 분위기였다. 총리는 돌연 성적인 발언을 쏟아냈다. 일본 오사카의 한 20대 남성이 인공지능에게 총리의 연설 영상 등을 학습시킨 다음 목소리를 입혀 제작한 영상이다. 제작에는 1시간 정도 걸렸다고 한다.

이 남성은 웃기게 하려는 목적이었다고 했지만 니혼테레비측은 자사 콘텐츠와 로고가 도용됐다며 법적 대응을 시사했다. 다만 입모양이 어색해 허위라는 점을 알아차리기는 어렵지 않은 수준이다.

▲ 기시다 후미오 총리 딥페이크 영상 갈무리

미국에선 정치인들이 딥페이크 영상의 피해를 본 사례들이 적지 않다. 지난 4월 힐러리 클린턴 전 미 국무장관이 론 디샌티스 플로디사 주지사를 좋아한다고 발언하는 딥페이크 영상이 확산됐다. 지난달 31일(현지시간) 조 바이든 미국 대통령이 인공지능 규제안을 담은 행정명령에 서명에 앞선 연설에서 “나도 나에 대한 딥페이크를 본 적 있다”며 “'내가 도대체 언제 저렇게 말했지라고 생각했다”고 했다.

생성형 인공지능 기술을 통해 도널드 트럼프 전 미 대통령이 체포되는 듯한 모습을 담은 이미지는 패러디 취지로 만들었지만 사실처럼 믿는 사람들이 생겨나면서 미국 언론이 팩트체크에 나설 정도였다. 명품 발렌시아가의 패딩을 입은 프란치스코 교황이 산책하는 모습도 그럴 듯한 모습에 널리 확산됐다.

한국에선 지난 대선 기간 후보자들이 인공지능 기술을 활용한 딥페이크 영상을 선보였다. 윤석열 후보측이 'AI 윤석열'을 공개했고 이어 이재명 후보측이 'AI 이재명'을 공개했다. 대선 이후 남해군수 선거 때 후보가 'AI 윤석열'이 자신을 지지하는 영상을 제작해 정치적 논란이 됐다.

▲ 지난 대선 때 선보인 AI 윤석열과 AI 이재명

2024년 총선을 앞두고 국내에서도 딥페이크 영상이 다시 논란이 될 전망이다. 딥페이크 영상이 전면 허용될 경우 악의적으로 허위정보를 퍼뜨리거나 후보자 이미지를 미화할 수 있다는 점에서 논란이 된다.

딥페이크는 특정 인물에 대한 여러 각도의 영상과 사진을 인공지능이 학습해 실제 사람과 같은 모습을 구현하는 기술을 말한다. 여기에 특정 인물의 음성을 학습해 똑같이 구현해내는 인공지능 기술과 결합해 그럴 듯한 딥페이크 영상을 만들 수 있다. 미드저니와 같은 이미지 생성 인공지능 프로그램을 통해 특정 인물에 대한 사진을 그려낼 수도 있다.

<로봇의 지배> 등을 쓴 미래학자 마틴 포드는 지난 1일 미디어오늘과 인터뷰에서 “인공지능을 사용해 사람들을 속여 민주주의를 공격하고 선거 등을 위협하는 데 사용될 수 있다는 점에서 우려가 든다”며 “선거에서 정치인을 공격하기 위해 (정치인이) 미친 소리를 하거나 아주 나쁜 말을 하는 거짓 오디오트랙을 만드는 데 사용된다고 상상할 수 있다”고 했다.

정치적 사안이 아닌 경우에도 논란이 되고 있다. 미국에선 보이스피싱 사례가 논란이 됐으며 딥페이크를 활용한 디지털성범죄도 전세계적으로 논란이 되고 있다.

미국 행정명령에 '딥페이크 식별 규제안'
주요 사업자들도 '식별표시' 기준 도입

지난달 조 바이든 대통령이 서명한 미국의 인공지능 규제 행정명령에도 '딥페이크 대응'이 포함됐다. 행정명령은 대통령 시행령과 같은 역할을 한다. 조 바이든 대통령은 “인공지능 사기꾼들은 여러분의 목소리를 3초 동안 녹음하는 걸로 여러분의 가족은 물론, 여러분 자신을 속이기에 충분한 결과물을 만들어낼 수 있다”며 “모든 사람들은 특정 음성이나 영상이 인공지능으로 만들었다는 것을 알 권리가 있다”고 했다.

이번 행정명령에는 인공지능발 허위정보를 막기 위해 인공지능이 만든 콘텐츠라는 사실을 알 수 있도록 '식별표시'(워터마크)를 하는 내용이 있다. 미국 상무부는 인공지능 생성 콘텐츠에 필수적으로 붙이는 '식별표시' 표준을 마련할 예정이다.

미국은 캘리포니아주에서 악의적인 이미지, 오디오, 비디오 편집을 규제하고 있지만 보편적인 규제는 아니다.

주요 영상 플랫폼과 소셜미디어 사업자들도 '식별표시'를 위한 대응에 나서고 있다. 페이스북과 인스타그램을 운영하는 메타는 지난 8일(현지시간) “새해부터는 정치광고 등 광고에 인공지능 기술을 사용항 경우 이를 공개하도록 전세계의 광고주에게 요구하겠다”며 반복적으로 지키지 않는 경우 불이익을 주겠다고 밝혔다. 구글도 선거 광고에 한해 인공지능 사용시 이를 의무적으로 표시하는 방안을 추진하고 있다.

틱톡은 지난 3월 새로운 통합 가이드라인을 마련하면서 '인공지능 생성 콘텐츠 관리 방식'을 추가했다. 현실적인 장면을 보여주는 합성 또는 조작된 영상의 경우 별도의 스티커나 캡션을 사용해 '합성' '허구' '실제 아님' '변형됨' 등을 명확히 밝혀야 한다. 이를 지키지 않으면 콘텐츠 삭제 등 조치가 이뤄질 수 있다.

한국선 딥페이크 선거운동 논란, '원칙적 허용' 제안
딥페이크 금지법? 이미 허위사실 처벌 vs 별도 규제 필요해

한국에선 선거 기간 후보자들이 딥페이크 영상을 선보이면서 '합법적 선거 운동의 기준' 관련 논의가 주로 이뤄졌다.

2022년 중앙선거관리위원회가 경북대 사회과학기초자료연구소에 의뢰한 <인공지능기술 발전에 따른 선거운동 제도개선 방안 연구> 보고서는 후보자 동의를 받고 딥페이크임을 명시할 경우 허용하는 '원칙적 허용안'을 비중 있게 다뤘다.

연구팀이 제시한 공직선거법 개정안은 딥페이크 선거운동과 관련 △제작·사용 등과 관련해 동의하지 않은 사람이 실제로 말한 것이나 행동한 것처럼 보이도록 하는 행위 금지 △영상 등이 인공지능 기술을 이용해 만든 가상의 것임을 명확하게 식별할 수 있도록 할 것 등 조항을 신설하는 내용을 담았다. 딥페이크 식별표시와 관련 연구팀은 “미국이나 유럽연합의 입법적 대응에 비춰 보더라도 표시의무를 요구하는 것은 적절한 규제 방법”이라고 했다.

▲ 사진=GettyImagesBank

해외 사례처럼 제3자가 정치인의 언행을 딥페이크로 만들어내 허위사실을 유포하거나 비방을 할 경우 대응 방안은 없을까.

국회에는 관련 법안이 발의돼 있다. 남인순 더불어민주당 의원은 지난 9월 인공지능 기술을 활용한 선거운동 시 식별 표기를 의무화하고 허위 사실 유포를 금지하는 공직선거법 일부개정안을 대표발의했다.

그러나 '식별표시' 외에 별도의 규제 법안이 필요한지에 대해선 이견이 있다. 경북대 연구팀은 “우리 공직선거법상 규제보다 강화된 규제라고 볼 수는 없다”고 했다. 한국 공직선거법은 허위사실공표와 비방을 금지 및 처벌하고 있어 딥페이크를 통한 영상도 대응이 가능하다는 것이다.

지난해 11월 국회 입법조사처는 <인공지능 기술 기반 딥페이크 선거운동의 해외 입법동향과 시사점> 보고서를 통해 상반된 입장을 함께 담았다. 보고서는 “딥페이크 정보의 내용이 허위사실인 경우 별도의 입법이 없이도 현행 공직선거법상 허위사실공표죄를 적용할 수 있다는 점에서 새로운 처벌규정 신설의 실익이 없다는 주장이 있다”며 “반면 딥페이크 기술을 악용한 허위사실공표행위는 허위성의 발견을 어렵게 한다는 점에 서 보다 큰 악의성이 있기 때문에 별도의 입법이 필요하다는 주장이 있다”고 했다.

[미디어오늘 바로가기][미디어오늘 페이스북]
미디어오늘을 지지·격려하는 [가장 확실한 방법]