3만원이면 AI영상 찍어내는데 … 범죄악용 처벌근거 찾기 하세월

가짜뉴스 유포 처벌 어렵고
명예훼손 입증도 산 넘어 산
딥페이크 판별 더 어려워져
탐지기술, 범람속도 못미쳐
"AI이미지 실제보다 더 그럴듯"

◆ 통제불능 딥페이크 ◆

지난 3월 캐나다에서 한 부모가 아들로부터 전화를 받았다. "미국 여행 중에 운전을 하다가 사람을 치어 숨지게 해 미국 경찰에게 체포됐다"는 내용이었다. 그러면서 아들은 "보석금을 내야 풀려나는데, 미국에 계좌가 없다보니 빨리 가상화폐로 보내달라"고 요청했다. 영락없는 아들 목소리였다. 부모는 2만1000캐나다달러(약 2072만원)를 곧바로 입금했다. 하지만 알고보니 아들은 멀쩡했다. 범죄자들이 인공지능(AI) 영상물인 딥페이크(Deepfake)를 악용해 피싱한 장면이다. 범죄자는 잡히지 않았다.

AI를 앞세운 딥페이크가 범람하면서 각종 범죄가 쏟아지고 있지만 이를 막기에는 역부족이다. 딥페이크 영상이 너무 빠른 속도로 생겨나고 있어 원천 봉쇄에 한계가 있는 데다, 이들 데이터가 해외에 있는 클라우드에 보관돼 있어 삭제·처벌도 현실적으로 어렵다는 지적이다.

쑥대밭 된 도시? 실제 전쟁 아닙니다 매사추세츠공과대(MIT) 미디어랩 연구원들이 인공지능(AI) 시스템을 통해 실제 전쟁 상황을 학습시켜 세계 주요 도시에 폭격이 가해진 '이미지'를 생성했다. 사진은 평화로운 보스턴 백베이 인근 시가지(위쪽)가 딥페이크 모델을 통해 폭격으로 쑥대밭이 된 모습. 최근 생성형 AI 기술이 발달하면서 이미지뿐만 아니라 영상으로도 이 같은 조작이 가능해졌다. 식별하기 어려운 딥페이크가 국가 안보에 큰 위협이 될 수 있다는 점에서 경각심을 가져야 한다는 목소리가 높다. MIT 미디어랩

딥페이크는 약 3만원이면 손쉽게 제작이 가능하다. 딥페이크 동영상을 생성해주는 업체들이 속출하고 있어서다. 영국 AI 스타트업 신세시아는 대본만 입력하면 영상을 순식간에 생성하는 서비스를 제공해주고 있다. 성별, 나이, 인종, 목소리 톤, 패션 등이 다른 85개 이상 캐릭터를 만들 수 있다. 사용료는 월 22.5달러(약 3만원)에 불과하다. 중국 공산당을 옹호해 논란을 빚은 정체 모를 뉴스미디어인 울프뉴스의 알렉스 앵커 역시 신세시아로 만들어진 딥페이크였다. 신세시아 측은 "불법 콘텐츠 제작에 사용되는 것을 방지하기 위한 별도 팀을 운영하고 있다"면서도 "하지만 모두를 잡기에는 어려움이 따른다"고 말했다.

딥페이크는 정치, 스캠 등 영역에서 탈법적 활동을 한다. 작년 3월 볼로디미르 젤렌스키 우크라이나 대통령이 러시아에 항복을 선언하는 모습을 담은 동영상은 순식간에 트위터와 페이스북, 유튜브를 통해 확산됐다. 하지만 적발됐다는 소식은 없었다.

처벌이 제대로 이뤄지지 않아 딥페이크를 악용한 가짜뉴스가 확산될 수 있는 구조라고 할 수 있다. 특히 최근엔 단순히 가짜뉴스를 텍스트로 퍼뜨리는 것과 전혀 다른 양상이 나타나고 있다. 실제 사건과 다른 시기에 촬영된 사진이나 동영상을 가져와 시공간을 넘어 사실을 왜곡하는 방식은 이제 구식으로 평가받을 정도다. 생성형 AI를 악용한 새로운 딥페이크 영상이나 사진이 범람하고 있다. 이는 그만큼 민주주의와 자본주의의 기반을 흔들 수 있다는 점에서 문제의 심각성이 크다.

한국은 현행법으로 가짜뉴스 처벌이 가능하긴 하지만 요건이 까다롭다는 점이 문제다. 형법으로는 거짓말 등 허위 사실을 유포하는 것만으로는 처벌이 쉽지 않다.

김세일 변호사는 "가짜뉴스 처벌이 어려운 이유는 단순 허위사실 적시뿐 아니라 구체적인 대상(특정인)의 명예가 훼손됐는지가 확실시돼야 하기 때문"이라면서 "가짜뉴스 유포에 따른 플랫폼에 대한 업무방해죄의 경우에도, 의견과 사실을 구분하기 어려운 문제가 있어 구성요건 해당성 인정이 쉽지 않다"고 말했다. 아울러 그는 가짜뉴스만을 위한 처벌 조항을 신설하는 견해에 대해서는 "헌법에 보장된 표현의 자유를 위축시키고 처벌 범위가 과도하게 확대될 우려가 있어 쉽지 않을 것"이라고 전망했다.

딥페이크 생성 속도가 탐지 속도보다 빠른 것 역시 처벌에 어려움을 가중시키고 있다.

불과 몇 년 전만 하더라도 방대한 양의 데이터를 투입해 AI를 학습시켰는데, 오늘날에는 이미지 몇 장만으로 학습할 수 있는 퓨숏러닝(few-shot learning)이 개발돼 있다. 1분짜리 음성 데이터만 있으면, 똑같은 음성을 만들 수 있다. 이에 대해 우성일 성균관대 소프트웨어학과 교수는 "매번 새로운 딥페이크 기술이 나올 때마다 이를 탐지하는 모델을 만들어 대응하는 것은 사실상 불가능한 일"이라며 "기술 개발만으로는 딥페이크를 이용한 범죄를 해결하기 어렵기 때문에 법과 제도, 교육 등 다양한 관점에서 학계와 산업계, 정부가 협력해야 한다"고 강조했다.

한편 최근 딥페이크를 악용한 불법적 음란물이 사회문제로 부상했다.

BBC는 케이트 아이작스라는 영국 여성 사례를 보도한 바 있다. 누군가가 모르는 새 자신의 얼굴을 활용해 음란물을 만든 것을 목격해 충격을 받은 사례다. 사이버 보안 업체인 '딥트레이스'에 따르면 대다수 딥페이크 음란물 영상 중 96%는 합의되지 않았다. 딥페이크는 진짜인지 가짜인지 분간이 어렵다는 점에서 범죄 악용 가능성이 크다. 미국 UC버클리대와 영국 랭커스터대가 참가자 223명을 대상으로 사람의 실물 사진과 AI가 만든 사진을 판별하는 실험을 실시한 결과, 합성 얼굴에 대한 평균 신뢰도(4.82)가 실제 얼굴에 대한 평균 신뢰도(4.48)보다 높게 나타났다.

이와 관련해 국회 과학기술정보방송통신위원회 소속 민형배 더불어민주당 의원이 방송통신심의위원회로부터 제출받은 자료에 따르면, 딥페이크 기술을 활용한 음란물 적발 건수는 최근 3년2개월간 9000건에 달했다. 심의 건수는 폭증하고 있다. 2021년 1913건에 그쳤지만, 올 들어 8월까지 3046건에 달했다. 하지만 처벌은 5% 수준이었다. 해당 영상을 제공하는 사이트 상당수가 서버를 해외에 두고 있는 점이 주된 이유로 꼽혔다.

[이상덕 기자 / 송경은 기자 / 황순민 기자]