더 진짜 같은 가짜… AI에 눈뜨고 당했다

테일러 스위프트 합성 음란물 사태
정교한 AI 딥페이크에 피해 더 커져
서구권 규제 논의 활발… 국내는 답보
AI 발전과 규제 양립 가능성이 관건

게티이미지뱅크

팝스타 테일러 스위프트의 얼굴을 합성한 ‘딥페이크’(인공지능을 활용해 만든 가짜 콘텐츠) 음란물 문제가 부각되면서 이에 관한 규제를 강화해야 한다는 목소리가 커지고 있다. 이전에도 합성 이미지나 영상 등의 유포 문제가 있었지만 인공지능(AI) 시대에는 그 피해가 한층 증폭된 모습이다. AI를 활용해 쉽고 빠르게 더 진짜 같은 가짜 콘텐츠를 만드는 게 가능해진 탓이다. AI 기술은 빠른 속도로 진화하고 있지만 국내 AI 분야 입법 논의는 지지부진하고, 현재 작동 중인 규제 역시 실효성을 갖추지 못했다는 지적이다.

맨눈으로는 못 잡는 가짜

딥페이크는 컴퓨터 스스로 대규모 데이터를 심화 학습하는 딥러닝(deep learning)과 가짜라는 뜻의 페이크(fake)를 합친 말이다. 딥페이크의 첫 사례는 2017년 미국 인터넷 커뮤니티 ‘레딧’에 올라온 유명인 합성 음란물로 알려져 있다. 딥페이크 기술은 영상 편집·합성 프로그램 개발 속도와 맞물려 업그레이드됐다. 특히 생성형 AI 등장 이후 딥페이크 기술은 이전과 비교할 수 없을 정도로 고도화됐으며 비전문가도 딥페이크 영상을 만들 수 있게 됐다.

딥페이크 기술이 국내에서 주목받은 건 2022년 대선 때였다. 당시 ‘AI 윤석열’ ‘AI 이재명’이 나란히 선거운동에 활용됐다. 이때만 해도 딥페이크 영상에 나오는 인물 표정은 다소 굳어 있거나 부자연스러운 모습이었다. 미국에선 2020년 대선 당시 조 바이든 민주당 후보가 유세 중 주(州)를 잘못 말하는 가짜 영상이 유포돼 파문을 일으켰다. 오는 11월 대선을 앞둔 미국에서는 뉴햄프셔 프라이머리(예비경선) 바로 전날 음성 위조된 바이든 대통령이 민주당 당원들에게 전화해 “화요일에 투표하는 건 도널드 트럼프 당선을 돕는 일”이라고 말한 사건이 벌어져 미 당국의 수사가 진행 중이다.

현재 딥페이크 기술은 가짜 여부를 단번에 판별하기 어려운 초정밀 위조 단계에 이르렀다. 정보기술(IT) 업계 관계자는 31일 “과거에는 딥페이크 영상이나 음성 콘텐츠 대부분이 어색한 것들이었지만 이제는 사람의 눈과 귀로는 진위를 가려낼 수 없는 수준”이라고 말했다.

한발 늦은 딥페이크 규제

딥페이크 피해를 막기 위한 규제는 국내보다 해외에서 발 빠르게 도입됐다. 미국의 경우 캘리포니아주가 딥페이크를 유포하는 행위를 선거법을 통해 규제하는 등 대부분 주 차원의 AI 규제가 시행 중이다. 미국은 수정헌법 제1조에 명시된 표현의 자유를 중시하는 만큼 이를 침해할 수 있는 AI 입법에 신중했다.

그런데 딥페이크 피해가 극심해지면서 규제 강화 논의는 활발해졌다. 미 행정부는 지난해 10월 말 ‘안전하게 보호되고 신뢰할 수 있는 AI 개발 및 이용에 관한 행정명령’을 발표했다. 이 명령은 AI 기술로 만든 합성 콘텐츠를 식별하는 장치를 강화하고 디지털 생성물의 가짜 여부나 출처를 확실히 하도록 하는 방안을 마련하도록 했다. 미 백악관은 최근 딥페이크 문제와 관련해 “매우 우려된다”며 “우리는 실존하는 사람들의 친근한 이미지, 허위 정보가 사전 동의 없이 확산하는 것을 막기 위해 SNS 업체들이 정보 제공 및 규칙을 시행하는 데 해야 할 중요한 역할이 있다고 본다”고 밝혔다.

유럽연합(EU)도 일찌감치 규제에 나섰다. EU는 2022년 디지털서비스법(DSA)을 제정했다. 이 법은 월평균 활성 이용자 수 4500만명을 넘은 대형 온라인 플랫폼이나 검색 엔진을 대상으로 불법·유해 콘텐츠에 관한 위험 평가를 하도록 했다. 또 위험을 줄일 수 있는 조치를 마련해 이행하도록 했다. EU 의회는 지난해 6월 안전한 AI 시스템 요건을 규정한 AI 법안을 더 강화한 의회수정안을 제안했다. 수정안에는 AI를 통해 생성된 콘텐츠인지 여부를 공개하도록 하는 내용이 담겼다.

국내에도 딥페이크 규제 장치는 마련돼 있다. 선거 전 90일간 딥페이크를 활용한 선거운동을 금지하는 공직선거법 개정안이 지난해 12월 국회를 통과했다. 지난 29일부터 오는 4월 총선 때까지 이 법이 적용 중이다. 앞서 2020년 3월 개정된 성폭력범죄의 처벌 등에 관한 특례법은 특정인의 신체 등을 대상으로 한 영상물이나 이미지를 성적 욕망 또는 수치심을 유발할 수 있는 형태로 편집하는 행위에 대해 5년 이하 징역이나 5000만원 이하 벌금형에 처하도록 했다.

하지만 한국판 AI법으로 불리는 인공지능산업 육성 및 신뢰 확보에 관한 법안은 지난해 2월 국회 과학기술정보방송통신위원회 법안소위를 통과한 뒤 논의에 진전이 없다. AI산업 지원, 고위험 AI에 관한 규정 등을 담은 이 법은 총선 이후에야 통과될 것으로 예상된다.

딥페이크 탐지도 AI의 몫

AI 생성물 규제는 결국 AI 기술에 의지해 해결할 수밖에 없다. AI의 학습·작동 체계를 AI만큼 잘 아는 건 없기 때문이다. 딥페이크 생성물 여부를 판단하는 일을 AI의 탐지 기술에 의존해야 하는 상황이다. 앞으로 AI를 활용한 딥페이크 기술이 발달하면 할수록 AI 의존도는 더 커질 전망이다. 딥페이크 피해를 막기 위한 법규가 마련돼 있더라도 사람의 힘만으로는 수많은 딥페이크 생성물을 모니터링하고 식별해낼 수 없기 때문이다.

딥페이크 제작은 보통 추출, 학습, 병합 등의 단계를 거친다. 추출은 영상이나 이미지 데이터를 AI에서 확보하는 것을 뜻한다. 이어 AI가 이 데이터를 학습한 뒤 진짜와 가짜 데이터를 섞어 딥페이크를 생성한다. AI 시스템은 인간의 감각기관으로는 포착되지 않는 딥페이크의 미세하게 어색한 부분을 탐지해 가짜 여부를 가릴 수 있다. 입 모양과 목소리가 서로 들어맞지 않는다거나 눈 깜빡임 속도 등을 계산하는 식이다. 예컨대 사람은 보통 5~6초 안에 한 번 눈을 깜빡이는데 딥페이크 속 합성 인간은 이보다 더 오랜 시간 눈을 깜빡이지 않을 수 있다.

하지만 이러한 탐지 기법에 걸리지 않는 AI 기술 역시 이미 개발돼 있다. 이 때문에 전문가들은 컴퓨터 백신 프로그램과 마찬가지로 수시로 업데이트되는 딥페이크 탐지 시스템을 갖춰야 한다고 강조한다. 다만 음란물 잡겠다고 의료산업이나 기초과학 등에 중요한 도구로 활용되는 딥페이크 기술 개발을 방해하는 규제를 섣불리 들이밀어선 안 된다는 시각도 있다. 김진형 카이스트 명예교수는 “AI 생성물을 확실히 식별할 수 있는 워터마킹 시스템 도입을 서둘러 법제화해야 한다”며 “AI의 순기능은 저해되지 않는 방향의 규제를 마련해야 한다”고 말했다.

김경택 기자 ptyx@kmib.co.kr

GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재 및 수집, 재배포금지