“엄마 돈 보내줘” 아들 목소리 맞는데…알고보니 3만원 주고 만든 합성물

매사추세츠공과대(MIT) 미디어랩 연구원들이 인공지능(AI) 시스템을 통해 실제 전쟁 상황을 학습시켜 세계 주요 도시에 폭격이 가해진 ‘이미지’를 생성했다. 사진은 평화로운 보스턴 백베이 인근 시가지(위쪽)가 딥페이크 모델을 통해 폭격으로 쑥대밭이 된 모습. 최근 생성형 AI 기술이 발달하면서 이미지뿐만 아니라 영상으로도 이 같은 조작이 가능해졌다. 식별하기 어려운 딥페이크가 국가 안보에 큰 위협이 될 수 있다는 점에서 경각심을 가져야 한다는 목소리가 높다.[출처 = MIT 미디어랩]

지난 3월 캐나다에서 한 부모가 아들로부터 전화를 받았다. “미국 여행 중에 운전을 하다 사람을 치어 숨지게 해, 미국 경찰에 체포됐다”는 내용이었다. 그러면서 아들은 “보석금을 내야 풀려나는데, 미국에 계좌가 없다보니 빨리 가상화폐로 보내달라”고 요청했다. 영락없는 아들 목소리였다. 부모는 2만1000 캐나다 달러(약 2072만원)를 그 곧바로 입금했다. 하지만 알고보니 아들은 멀쩡했다. 범죄자들이 인공지능(AI) 영상물인 딥페이크(Deep fake) 악용해 피싱한 장면이다. 범죄자는 잡히지 않았다.

AI를 앞세운 딥페이크가 범람하면서 각종 범죄가 쏟아지고 있지만 이를 막기에는 역부족이다. 딥페이크 영상이 너무 빠른 속도로 생겨나고 있어 원천 봉쇄에 한계가 있는데다, 이들 데이터가 해외에 있는 클라우드에 보관돼 있어 삭제, 처벌도 현실적으로 어렵다는 지적이다.

딥페이크는 약 3만원이면 손쉽게 제작이 가능하다.

딥페이크 동영상을 생성해주는 업체들이 속출하고 있어서다. 영국 AI 스타트업 신세시아는 대본만 입력하면 영상을 순식간에 생성하는 서비스를 제공해주고 있다.성별, 나이, 인종, 목소리 톤, 패션 등이 다른 85개 이상 캐릭터를 만들 수 있다. 사용료는 월 22.5달러(약 3만원)에 불과하다. 중국 공산당을 옹호해 논란을 빚은 정체 모를 뉴스미디어인 울프뉴스의 알렉스 앵커 역시 신세시아로 만들어진 딥페이크였다. 신세시아측은 “불법 콘텐츠 제작에 사용되는 것을 방지하기 위한 별도 팀을 운영하고 있다”면서도 “하지만 모두를 잡기에는 어려움이 따르고 있다”고 말했다.

딥페이크는 정치, 스캠 등 영역에서 탈법적 활동을 한다. 작년 3월 볼로디미르 젤렌스키 우크라이나 대통령이 러시아에 항복을 선언하는 모습을 담은 동영상은 순식간에 트위터와 페이스북 유튜브를 통해 확산됐다. 하지만 적발됐다는 소식은 없었다.

처벌이 제대로 이뤄지지 않아 딥페이크를 악용한 가짜뉴스가 확산될 수 있다는 구조라고 할 수 있다. 특히 최근엔 단순히 가짜뉴스를 텍스트로 퍼뜨리는 것과 전혀 다른 양상이 나타나고 있다. 실제 사건과 다른 시기에 촬영된 사진이나 동영상을 가져와 시공간을 넘어 사실을 왜곡하는 방식은 이제 구식으로 평가받을 정도다. 생성형 AI를 악용한 새로운 딥페이크 영상이나 사진이 범람하고 있다. 이는 그만큼 민주주의와 자본주의의 기반을 흔들 수 있다는 점에서 문제의 심각성이 크다.

국내 가짜뉴스 처벌과 관련해 현행법으로 가능하지만 요건이 까다롭다는 점이 문제다. 형법에는 거짓말 등 허위 사실을 유포하는 것만으로는 처벌이 쉽지 않은 게 현실이다.

김세일 변호사는 “가짜뉴스 처벌이 어려운 이유는 단순 허위사실 적시뿐 아니라 구체적인 대상(특정인)의 명예가 훼손됐는지가 확실시 돼야 하기 때문”이라면서 “가짜뉴스 유포에 따른 플랫폼에 대한 업무방해죄의 경우에도, 의견과 사실을 구분하기 어려운 문제가 있어 구성요건 해당성 인정이 쉽지 않다”고 말했다. 아울러 그는 가짜뉴스만을 위한 처벌 조항을 신설하는 견해에 대해서는 “헌법에 보장된 표현의 자유를 위축시키고 처벌 범위가 과도로 확대될 우려가 있어 쉽지 않을 것”이라고 전망했다. 대한민국 헌법 21조는 “언론·출판에 대한 허가나 검열과 집회·결사에 대한 허가는 인정되지 아니한다”면서도 “언론·출판이 타인의 명예나 권리를 침해한 때에는 피해자는 이에 대한 피해의 배상을 청구할 수 있다”고 적시하고 있다.

딥페이크 생성 속도가 탐지 속도보다 빠른 것 역시 처벌에 어려움을 가중시키고 있다.

불과 몇년 전만 하더라도 방대한 양의 데이터를 투입해 AI를 학습시켰는데, 오늘날에는 이미지 몇장 만으로 학습할 수 있는 퓨샷러닝(few-shot learning)이 개발돼 있다. 1분짜리 음성 데이터만 있으면, 똑같은 음성을 만들 수 있다. 이에 대해 우성일 성균관대 소프트웨어학과 교수는 “매번 새로운 딥페이크 기술이 나올 때마다 이를 탐지하는 모델을 만들어 대응하는 것은 사실상 불가능한 일”이라며 “기술 개발만으로는 딥페이크를 이용한 범죄를 해결하기 어렵기 때문에 법과 제도, 교육 등 다양한 관점에서 학계와 산업계, 정부가 협력해야 한다”고 강조했다.

한편 최근 딥페이크를 악용한 불법적 음란물이 사회문제로 부상했다.

BBC는 영국 케이트 아이작스라는 여성 사례를 보도한 바 있다. 누군가가 자신도 모른새 자신 얼굴을 활용해 음란물을 만든 것을 목격해 충격을 받은 것이다. 사이버 보안 업체인 ‘딥트레이스’에 따르면 대다수 딥페이크 음란물 영상 중 96%는 합의되지 않았다. 딥페이크는 진짜인지 가짜인지 분간이 어렵다는 점에서 범죄 악용 가능성이 크다. 미국 UC버클리대와 영국 랭커스터대가 참가자 223명을 대상으로 사람의 실물 사진과 AI가 만든 사람 사진을 판별하는 실험을 실시한 결과, 합성 얼굴에 대한 평균 신뢰도(4.82)가 실제 얼굴 평균 신뢰도(4.48)보다 높게 나타났다.

이와관련 국회 과학기술정보방송통신위원회 소속 더불어민주당 민형배 의원이 방송통신심의위원회로부터 제출받은 자료에 따르면, 딥페이크 기술을 활용한 음란물 적발 건수는 최근 3년 2개월간 9000건에 달했다. 심의 건수는 폭증하고 있다. 2020년 473건에 그쳤지만, 올들어 누적 3046건에 달했다. 하지만 처벌은 5% 수준이었다. 해당 영상을 제공하는 사이트 상당수가 서버를 해외에 두고 있는 점이 주된 이유로 꼽혔다. 이상덕 송경은 황순민 기자