딥페이크 범죄해결, AI로 AI잡는다

탐지부터 모자이크 서비스까지
국내·외 기업 잇단 솔루션 선봬
범죄 대응 긍정적 효과 기대도

딥페이크 성착취 영상 증가세 추이. 시큐리티 히어로 제공

인텔 페이크캐쳐 이미지. 인텔 제공

국내에서 모바일 메신저 '텔레그램'을 기반으로 한 '딥페이크(인공지능 기반 이미지 합성)' 음란 영상물 제작·유포 범죄 피해가 속출하고 있다. 피해자 중에는 유명 연예인뿐만 아니라 일반인과 중·고교생 등 미성년자도 포함돼 있는 것으로 알려졌다. 딥페이크 기술을 이용한 디지털 성범죄가 확산하자 이를 추적하는 인공지능(AI) 기반 기술이 속속 등장하고 있다. 이에 AI 기술이 딥페이크 성범죄 해결책이 될 수 있을지에 관심이 쏠리고 있다.

◇딥페이크 성착취물 1위 국가는 한국=보안서비스업체 '시큐리티 히어로'가 최근 공개한 '2023 딥페이크 현황' 보고서에 따르면 2022년 제작된 딥페이크 성착취 영상은 3725개에 불과했지만 2023년에는 2만1019개로 464% 증가했다. 2023년 기준 온라인상에서 9만5820개 딥페이크 영상이 확인됐고 이 중 98%는 딥페이크 성착취물인 것으로 드러났다. 딥페이크 성착취물 수도 매해 증가하고 있는 것이다.

해당 보고서는 지난해 7월부터 8월까지 상위 10개 딥페이크 포르노 웹사이트와 유튜브, 데일리모션 등에 있는 85개 딥페이크 채널을 분석한 결과다. 보고서는 기술 발전으로 얼굴이 잘 나온 사진 한 장만 있다면 1분 길이의 딥페이크 성착취물을 무료로 만들기까지 25분도 채 걸리지 않는다고 짚었다. 딥페이크는 AI 이미지·영상·음성 합성 기술을 이용해 가짜 자료를 생성하는 것을 뜻한다. 음란물에 실존 인물의 얼굴·음성을 덧입히는 방식의 범죄에 흔히 활용된다.

◇사진 '한장'만 있으면 내가 타깃 될 수 있다는데…해결책은?= 기업들은 특히 딥페이크 성범죄에 AI 기술로 대응에 나섰다. AI로 발생한 범죄를 AI로 해결한다는 것이다.

AI 스타트업 딥브레인AI는 10분 이내에 딥페이크 적용 여부를 가려주는 탐지 솔루션을 내놨다. 이 솔루션은 영상, 이미지, 음성 탐지 기능을 제공하며,진위 여부와 함께 변조율, 합성 유형 등 상세한 분석 결과를 제공한다. 지원되는 탐지 유형에는 페이스 스왑, 립싱크 합성, 생성형 비디오 등이 포함된다. 한국지능정보사회진흥원(NIA)과의 협업을 통해 520만 건 이상의 기존 데이터와 2000시간 분량의 200만 건 데이터를 추가 학습하여 솔루션의 완성도를 높였다.

국내 최초로 텔레그램 등 소셜미디어(SNS)를 비롯한 인터넷망을 통한 유해 콘텐츠 차단 서비스를 제공하는 기업인

플랜티넷은 'AI 테크랩' 조직을 신설하고 AI 활용 유해 콘텐츠 차단 기술을 고도화하기 위한 작업에 돌입했다.디지털 범죄물에 대한 직접적인 차단 등에 활용될 수 있는 기술들로, 일부는 연구를 마치고 본격적인 사업화를 구상하는 단계다.

감시 사각지대에 놓여 있던 텔레그램에 대한 탐지·차단 기술은 제대로 구현된다면 미봉책에 그쳤던 기존 대책을 기술적으로 해결할 열쇠가 될 수도 있다.

모니터랩도 AI 기술을 활용해 웹 공격을 자동으로 탐지하고 신종 사이버 위협에 빠르게 대응할 수 있는 솔루션을 선보였다.

최근 과학기술정보통신부와 정보통신산업진흥원이 주관하는 '2024 AI 바우처 지원 사업'에 선정돼, AI 기반 웹 공격 분석 기술을 타르고스 보안관제 서비스에 적용하는 프로젝트를 추진 중이다.

샌즈랩은 생성형 AI 역기능 억제 플랫폼과 사이버 보안 특화 검색증강생성(RAG) 기반 소규모언어모델(sLLM)을 개발하고 있다. 생성형 AI 역기능이란 AI 기술이 허위 정보 및 가짜 뉴스 생성, 저작권 침해, 딥페이크 생성, 사이버 범죄 악용 등의 부정적이거나 예상치 못한 방식으로 악용되는 것을 뜻한다.

'생성형 AI 역기능 탐지 대응 기술'이 적용된 국민 체감형 플랫폼을 통해 최근 사회적 문제로 대두되고 있는 피싱 공격, 가짜 뉴스 생성, 악성코드 대량 생산, 음성 합성, 딥페이크 이미지·영상 제작과 같은 AI를 악용한 신종 디지털 범죄를 탐지 및 대응할 수 있다고 보고 있다.

AI 스타트업 자라소프트는 딥페이크 성범죄 피해 방지를 위한 AI 모자이크 서비스를 지난달 출시했다.

자라소프트 '블러미'는 AI 기반 영상 모자이크 서비스로, 누구든 사진이나 영상 속 얼굴을 쉽게 모자이크 처리할 수 있다.별도 프로그램 설치 없이 웹사이트에 접속해 사진, 영상을 올리면 몇 초 만에 자동으로 모자이크 처리가 가능하다. 또, 수백 명이 동시에 움직이는 영상도 단 몇초 내 웹상에서 블러 처리하고, 수백 장 사진도 한꺼번에 자동 처리되는 기능을 구현했다.

◇빅테크도 '딥페이크 잡기'= 글로벌 기업들도 문제 해결에 뛰어들었다. 구글과 오픈AI는 딥페이크 제작 단계부터 가짜 콘텐츠를 구별할 수 있는 기술에 도전하고 있다.

맨눈으로 알 수 없는 워터마크를 사진이나 영상에 심는 방식을 지난 2월 이미지 생성 기능에 적용했다. 메타도 워터마크 부착을 추진하고 있다.

인텔은 '페이크캐처'로 딥페이크 범죄 확산 방지에 나섰다. 2022년 출시한 페이크캐처는 영상 딥페이크 탐지 기술로 96% 정확도로 가짜 동영상을 탐지할 수 있다.

영상 속 얼굴 표면에 드러나는 정맥 색의 변화를 1000분의 1초 단위로 감지하는 방식이다. 심장이 뛸 때마다 정맥의 색이 미세하게 바뀐다는 점을 겨냥했다.

유튜브는 콘텐츠의 불법성을 판단하기 위해 2만명 이상의 리뷰어와 머신러닝 기술을 활용해 자사 가이드라인을 준수하는지 확인하고 있다.

AI로 잠재적 위반 가능성이 있는 콘텐츠를 감지하고, 리뷰어가 해당 콘텐츠가 실제로 정책을 위반했는지 확인하는 방식이다.

AI를 활용해 제작한 콘텐츠에는 식별할 수 있는 라벨을 달도록 했다.

다만 기술적으론 딥페이크 콘텐츠를 완전히 걸러낼 수 없다는 게 주된 의견이다. AI가 발전하는 만큼 콘텐츠 생성량이 쌓이면서 딥페이크의 품질도 향상되고 있지만 아직 대응 솔루션들은 개발 초기 단계이기 때문이다.

하지만 전문가들은 이런 솔루션이 딥페이크 범죄 대응에 긍정적인 효과를 보일 것이라고 보고 있다.

최경진 가천대 법학과 교수(개인정보전문가협회장)는 "딥페이크 대응이 법제도적인 규제를 통하는 방법도 있지만 기술적인 대응도 있다. 이 두 가지가 함께 가야 딥페이크 범죄의 피해를 줄일 수 있다"며 "현재의 기술로 (딥페이크 범죄에 대한) 완벽한 근절은 어렵겠지만 일정 부분 효과는 있기 때문에 신기술 개발에 대한 노력들이 반드시 필요하다"고 강조했다.

유진아기자 gnyu4@dt.co.kr