"눈으로 봐도 못 믿겠다"…정부도 AI 조작사진 발표

AI發 '제로 트러스트' 확산
백악관마저 허위 사진 만들어
스탠퍼드 "딥페이크 16배 급증"
사이버보안 기본 원칙, 일상 적용
정보 접할 때마다 출처 검증해야

공항 탑승구에 캥거루가 비행기 티켓을 들고 서 있다. 탑승을 막는 항공사 직원과 캥거루 주인 사이에 실랑이가 벌어진다. 영상(사진)이 SNS를 강타하자 각국 누리꾼은 ‘정서 지원 동물도 비행기에 탈 수 있어야 한다’ ‘티켓까지 샀는데 왜 타지 못하느냐’며 댓글을 쏟아냈다. 하지만 이는 시각효과 아티스트가 인공지능(AI)으로 제작한 가짜 영상이었다.

생성형 AI 대중화로 손쉽게 이미지와 영상, 음성을 만들 수 있게 되면서 진실과 거짓을 구별하기 어려워졌다. 이 때문에 모든 정보를 일단 의심하고 보는 ‘제로 트러스트’ 원칙이 주목받고 있다. 역사학자 유발 하라리는 “정보는 곧 진실이 아니다. 진실은 매우 희귀하고 값비싼 정보”라고 경고했다.

 ◇AI가 조성한 ‘불신 사회’

지난 9월 이탈리아 최대 은행 인테사산파올로의 자회사 피데우람에서는 9500만유로(약 1427억원) 규모 금융사기가 발생했다. 범인들은 모회사 최고경영자(CEO)를 사칭한 메시지를 보내고 AI로 유명 로펌 변호사 목소리를 복제해 전화를 걸었다. 이를 믿은 은행 회장이 송금을 지시해 거액이 해외 계좌로 이체됐다.

재판 현장에서도 혼란이 불거지고 있다. 변호사와 소송 당사자가 생성형 AI로 법률 서면을 작성하면서다. 한국 법원행정처가 전국 법관 360명을 대상으로 한 조사에서 판사 10명 중 8명은 재판 과정에서 AI가 생성한 가짜 판례를 접한 적이 있다고 답했다. 존재하지 않는 판례를 인용한 사례가 80.7%(복수 응답)로 가장 많았고 가짜 법령을 인용한 사례는 16.9%였다.

AI로 이미지를 조작하는 건 미국 백악관도 예외가 아니다. 올해 1월 백악관은 공식 SNS 계정에 시민권 변호사가 눈물을 흘리며 체포되는 사진을 게시했다. AI로 생성한 가짜 사진이었다. 지난주 중간선거를 앞두고도 AI로 제작한 각종 정치 광고와 허위 영상이 등장했다. 공화당 선거조직은 민주당 텍사스주 상원의원 후보 제임스 탈라리코가 실제로 촬영한 적 없는 발언 영상을 제작했다. 오하이오주 민주당 후보 셰러드 브라운 등을 겨냥한 허위 영상도 확산했다.

 ◇딥페이크 영상도 16배 급증

학계도 이 같은 문제에 주목하고 있다. 미 스탠퍼드대 ‘AI 100년 연구(AI100)’ 연구진은 10일 발간한 보고서에서 “이제 눈으로 본 것도 믿을 수 없다”며 “AI로 생성된 미디어와 진짜 기록물을 구별하기가 점점 어려워지고 있다”고 경고했다.

연구진은 “복제된 목소리가 대중을 속이고 피해자에게서 돈을 갈취하는 데 더 많이 쓰이고 있다”고 했다. 영국 정부에 따르면 동의 없이 제작된 성적 딥페이크 이미지·영상은 지난해 800만 개로 2023년의 16배로 급증했다. 스탠퍼드대는 AI가 아동 성 착취물 제작에도 악용되고 있으며, 언론·창작산업과 법률 분야로 번져 사회적 신뢰를 약화할 것으로 내다봤다. 또 5년 전 AI 가짜 정보에 대한 우려와 동시에 ‘AI가 다양한 정보를 제공해 편향을 줄일 것’이라며 제시한 낙관론이 빗나갔다고 이번 보고서에서 정정했다.

 ◇“일단 의심하라” 원칙 뜬다

사이버보안의 기본 원칙인 제로 트러스트가 대중의 정보 소비 기준이 되고 있는 이유다. 기업과 공공기관 정보기술(IT) 시스템을 보호하기 위해 정립된 제로 트러스트는 기업 내부망에 접속한 사용자라도 정보에 접근할 때마다 신원과 권한을 확인하도록 한다.

이를 일상에 적용하면 유명인 목소리와 정부 공식 계정이라는 이유만으로 정보를 믿지 말고 출처를 검증해야 한다는 의미가 된다. 월스트리트저널(WSJ)은 “AI 신세계에서 살아남기 위해선 모든 것에 의문을 제기하고 눈살을 찌푸리며 적당한 의심을 품도록 스스로를 훈련해야 한다”고 강조했다.

이런 불신의 반사이익을 얻는 업종도 등장했다. 글로벌 사이버보안 회사다. 미국 사이버보안 기업 크라우드스트라이크는 9일(현지시간) 228.58달러에 거래를 마쳐 올해 들어 101.57% 상승했다. 팰로앨토네트웍스는 이날 330.89달러로 마감해 같은 기간 84.47% 올랐다. 로이터통신은 “AI는 기존 소프트웨어 기업에 위협이 되는 동시에 사이버보안 기업에 새로운 성장 기회를 제공한다”고 분석했다. 배런스는 “AI 관련 투자 자금이 반도체에서 사이버보안 소프트웨어로 이동하고 있다”고 전했다.

이혜인 기자/실리콘밸리=김인엽 특파원 hey@hankyung.com