세계 뒤흔드는 가짜뉴스 ‘폭격’… AI 규제·디지털 리터러시 급선무[AI 블랙홀 시대]

<2>인공지능과 가짜뉴스

2023년 3월 도널드 트럼프 전 미국 대통령이 뉴욕 맨해튼에서 자신을 체포하려는 경찰과 싸우는 사진이 소셜미디어(SNS)에 광범위하게 유포됐다. 한 달쯤 지나 미 공화당 전국위원회는 조 바이든 대통령이 재선될 경우 일어날 수 있는 다양한 상상 속 재난의 모습을 보여 주는 광고를 공개했다. 지난해 11월에는 일본 SNS에 기시다 후미오 총리가 성적인 발언을 하는 영상이 유포돼 논란을 불렀다. 여름에 유튜브에 올라온 것인데 X(옛 트위터)를 타고 하루 만에 조회수 230만회를 훌쩍 넘겼다. 모두 인공지능(AI) 딥러닝을 기반으로 한 합성 기술인 딥페이크로 만든 영상과 이미지였다.

미국 국방부 청사인 펜타곤이 검은 연기를 내뿜으며 화재에 불타는 모습으로 생성형 인공지능(AI)이 만들어 낸 딥페이크 사진이 지난해 5월 소셜미디어(SNS)에 퍼졌다.

문제는 세상에 없는 인물과 이미지를 만들어 내는 딥페이크가 더 방대한 정보가 투입되는 딥러닝을 통해 더 정교해지고 실존에 가까워진다는 점이다.

말하는 모양의 동영상을 만들고 실제 동영상에 입술 움직임만 바꿔 넣는 딥페이크 기술로 생성한 동영상을 X나 유튜브에 올리기만 하면 삽시간에 전 세계로 퍼져 나간다. 팩트체크를 통해 가짜뉴스로 판명되더라도 이미 누군가에게는 사실로 인식되고 있을 터. 이렇게 가짜뉴스를 퍼뜨리기 좋은 상황은 극단적인 정치 분열이 있을 때나 전쟁 상황에서 더 큰 효과를 발휘한다.

우크라이나·러시아 전쟁 초반인 2022년 3월 페이스북과 유튜브 등에 퍼진 볼로디미르 젤렌스키 우크라이나 대통령의 항복 영상이 단적인 예다. 직후 블라디미르 푸틴 러시아 대통령의 평화 선언 영상이 올라왔다. 둘 다 조작된 영상으로 밝혀지면서 메타와 유튜브 등 운영사는 원본 영상을 삭제했지만 여전히 흔적이 남아 있다.

도널드 트럼프 전 미국 대통령이 현지 경찰에 체포되는 것처럼 보이는 사진은 AI 이미지 생성 프로그램인 미드저니가 만들었다. 엘리엇 히긴스 X 캡처

딥페이크를 이용한 가짜뉴스는 전 세계 주요 선거가 줄줄이 예정된 올해 특히 민주주의를 위태롭게 하는 요소로 꼽힌다. 미국 코넬대 세라 크렙스 교수와 더그 크리너 교수는 ‘AI는 어떻게 민주주의를 위협하는가’(민주주의 저널)라는 논문에서 한 실험 결과를 내놨다. 이들은 미국 주의원 7000여명에게 AI가 쓴 편지와 사람이 작성한 편지를 동시에 보냈는데, 사람이 직접 작성한 이메일의 응답률은 AI가 쓴 이메일보다 2% 정도 높은 수준에 불과했다. 이들은 “사람이 만든 진짜 정보와 AI가 생성한 가짜 정보를 구별할 수 없는 상황”이라면서 “허위조작정보를 받아들였다고 해서 유권자들의 선택이 반드시 바뀌는 건 아니지만 민주주의 사회 내 구성원들 간 신뢰를 저해하고 공론장을 왜곡할 수 있다”고 지적했다.

3개월 전 치러진 아르헨티나 대선에서는 상대 후보를 비방하려고 만든 홍보물에 생성형 AI가 마구잡이로 악용됐다. 당시 집권 좌파연합의 대선후보였던 세르히오 마사 경제장관은 극우 경제학자 출신 하비에르 밀레이 당시 후보(현 대통령)가 “(장기 매매 시장이 활성화되면) 아이를 낳는 것이 곧 투자가 될 수 있다”고 말하는 딥페이크 영상을 제작해 유포했다. 밀레이 후보는 마사 후보를 구소련 정치 선전 포스터의 주인공으로 만들어 마사가 공산당 지도자처럼 보이게끔 했다. 두 사람이 만든 홍보물은 AI 창작물임을 명시했음에도 유권자들에게 부정적 인상을 심어 줬다.

미국은 올해 11월 5일 예정된 대선에서 생성형 AI가 훨씬 더 강력한 영향을 미칠 수 있다고 우려하고 있다. 과거의 조악한 합성 영상물과 달리 요즘의 생성형 AI가 만들어 내는 딥페이크는 실제 사람이 만든 것과 구별하기 어려울 정도로 정교하다. 지난해 5월 SNS에서 미 국방부 청사인 펜타곤 건물에서 대형 화재가 발생한 사진이 빠르게 확산하면서 주식시장까지 출렁이는 소동을 빚었다.

미드저니는 프란치스코 교황이 흰색 롱패딩을 입은 사진도 생성했다. 교황은 패딩을 갖고 있지 않지만 이 사진을 통해 패셔니스타로 떠올랐다. AFP·미드저니·게티이미지

사안의 심각성을 인식한 미국, 유럽 등 서구 민주주의 사회는 AI를 활용한 가짜뉴스를 규제하는 방법을 끊임없이 고민하고 있다. 유럽연합(EU)은 이미 수년 전부터 가짜뉴스라는 말 대신 허위정보, 잘못된 정보라는 표현을 쓰면서 미디어 역할을 차단해 왔다. 다음달부터는 ‘디지털 서비스법’을 시행해 가입국이 허위정보, 차별적 콘텐츠, 아동 학대, 테러 선전 등의 불법 유해 콘텐츠를 의무적으로 제거하도록 했다. 이를 지속적으로 위반하면 가입국에서 퇴출하는 등 강경하게 대응한다.

미국도 SNS 사업자를 규제하는 방안을 논의하는 중이다. 특히 대선을 앞둔 상황에서 극단주의와 인종차별 등 부정적인 콘텐츠가 유통되는 것을 차단하기 위해서다. 문제가 된 콘텐츠를 제작·배포하는 것뿐만 아니라 이를 확산시킬 수 있는 플랫폼을 제공한 SNS 사업자에게도 합당한 책임을 물어 콘텐츠 규제를 강화하고 있다.

포린폴리시(FP)는 최근 “올해가 AI의 안전한 개발과 사용을 위한 규제를 부과하는 정부 거버넌스 위기를 극복할 수 있을 분수령이 될 것”이라고 평가했다. 미 플로리다, 사우스캐롤라이나, 뉴햄프셔를 비롯한 여러 주에서 선거 캠페인 영상에 AI 사용을 규제하는 법안, 특히 딥페이크 기술을 이용해 후보자의 목소리와 얼굴을 악의적인 방식으로 합성하거나 조작하는 것을 규제하는 법안을 검토하고 있다. 미 싱크탱크인 ‘브레넌 정의센터’는 지난해 11월 발표한 보고서에서 “민주주의의 실험실이라 불리는 주의회에서 AI의 위협에 대처하는 방법에 대해 영감을 줄 수 있을 것”이라고 썼다.

AI 연구 선도자이자 구글 딥마인드의 공동 창업자인 무스타파 술레이만은 새 저서 ‘다가오는 물결’에서 “AI를 통제하는 것은 거의 불가능하다”고 주장했다. 술레이만은 AI의 결함이 발생하는 이유를 정부가 파악해야 하고 AI가 폭주할 때 전원을 끌 수 있는 제동장치를 마련해야 한다고 썼다.

볼로디미르 젤렌스키 우크라이나 대통령이 러시아에 항복을 선언하는 모습이 담긴 딥페이크 영상이 러시아와의 전쟁이 한창이던 2022년 3월에 퍼지면서 전 세계가 발칵 뒤집혔다. 왼쪽이 가짜, 오른쪽이 진짜 젤렌스키 대통령인데 표정은 거의 비슷하다. 인사이드 에디션 유튜브 캡처

이언 브레머 스탠퍼드대 교수는 지난해 포린어페어스 기고문에서 “AI는 기존 세계 권력의 구조를 뒤흔들고 어떤 경우에는 권력을 공고히 할 수 있다”면서 “민주주의 국가에서 개인정보를 동의 없이 무분별하게 수집해 상업적으로 활용하는 속도는 더 빨라지고, 권위주의 정부가 사상과 표현의 자유를 억압하는 도구로 악용될 수 있다”고 지적했다. 이어 “AI를 규제하지 않으면 국가는 민주주의를 유지하고 공공재를 제공해야 한다는 사회적 합의의 정당성을 잃는다”고 경고했다.

AI가 제멋대로 만들어 낸 ‘환각 현상’과 허위조작정보의 위협에 맞서기 위해서는 전통적으로 민주주의 사회 공론장에서 ‘팩트체커’ 구실을 해 온 레거시미디어의 역할이 강조된다.

아서 설즈버거 뉴욕타임스 발행인은 컬럼비아저널리즘리뷰 기고문 ‘저널리즘의 본질적 가치’에서 “언론은 새롭게 취재한 사실을 다양한 방식으로 교차 검증하는 게이트키핑 시스템을 지키고, 공정과 이해충돌 방지 원칙을 준수했는지, 편견과 차별의 관점을 걸러 냈는지 프로세스를 거친다”면서 “잘못된 정보가 민주주의의 근간을 흔드는 이 시대에 언론이야말로 세상에 꼭 필요한 자양분”이라고 강조했다.

크렙스·크리너 교수의 강조점은 문해력 향상이다. 이들은 “안타깝게도 인터넷 세상은 거대한 확증편향 기계”라며 “객관적 사실을 포기하거나 뉴스에서 사실을 분별하는 능력을 포기하면 민주주의 사회가 기반해야 하는 신뢰가 무너질 수 있다”고 꼬집었다. 이어 제대로 걸러진 미디어를 통한 디지털 리터러시(지식과 정보를 이해하는 능력)의 필요성을 언급하며 “시민들이 다양한 언론 매체를 ‘신뢰하되 검증하는 방식’으로 콘텐츠의 진실성을 가리는 눈과 가짜뉴스를 맹신하지 않는 비판적 사고력을 길러야 한다”고 부연했다.

최영권 기자