딥페이크 음란물 24시간내 지운다…서울시, 방심위와 핫라인 구축

서울대 동문 합성 음란물 사태를 계기로. 딥페이크 영상물이 문제가 되고 있다.[중앙포토]

사회관계망서비스(SNS) 이용자의 사진 등을 합성해 만든 ‘딥페이크(Deepfake)’ 영상물이 사회적 논란으로 떠오른 가운데 서울시가 딥페이크 음란물을 신속하게 삭제하기로 했다. 딥페이크는 딥러닝(Deep Learning)과 가짜를 의미하는 페이크(Fake)의 합성어다.

오세훈 서울시장과 류희림 방송통신심의위원회(방심위) 위원장은 28일 서울시청에서 24시간 이내에 딥페이크 음란물 영상을 삭제하는 ‘핫라인’을 가동하는 내용을 담은 ‘딥페이크 음란물 영상 삭제지원’ 업무협약(MOU)을 체결했다. 방심위가 자치단체와 업무협약을 맺은 것은 이번이 처음이다.

서울시-방심위 딥페이크 핫라인 구축

딥페이크 불법 합성물 피해를 입었다는 학교명을 검색할 수 있는 '피해학교지도'가 등장했다. [사진 피해학교지도 사이트 캡처]

지금까지 서울시는 딥페이크 영상물 등을 발견하면 디지털 성범죄안심 지원센터가 방심위에 각종 증빙 자료와 함께 영상 삭제 요청하는 과정을 밟았다.

하지만 핫라인을 가동하면 영상물을 한꺼번에 삭제하도록 요청할 수 있다. 방심위를 통한 영상 삭제·차단 조치에 소요하는 절차를 간소화한 것이다.

서울시 관계자는 “폐쇄형 SNS에서 돌던 딥페이크 영상물이 음란 사이트나 다른 SNS에도 퍼져 피해 신고가 들어오면, 핫라인을 통해 24시간 이내에 영상이 삭제·차단될 수 있게 조치한다”고 설명했다.

서울시는 또한 오픈 채팅방에 ‘딥페이크 SOS 전담 상담’ 창구를 개설하고 피해지원관 2명을 배치해 신고 방법이나 범죄 채증 방법을 안내한다. 딥페이크 범죄 피해자에겐 수사·법률지원 등을 제공하기 위해 서울디지털 성범죄안심 지원센터로 연결한다.

서울시는 연말까지 피해 상황을 24시간 모니터링하면서 자동으로 영상을 삭제 신고하는 시스템도 구축하기로 했다. 나아가 서울연구원과 협력해 인공지능(AI)이 영상 검색부터 신고까지 모든 과정을 자동으로 수행하도록 시스템을 갖출 계획이다.

AI 딥페이크 검출 기술 ‘서울 안심 아이’

오세훈 서울시장과 류희림 방송통신심의위원회 위원장이 28일 오후 서울 중구 서울시청에서 열린 '서울시-방송통신심의위원회 딥페이크 영상물 삭제 지원을 위한 업무협약'을 체결했다. [뉴스1]

2024년부턴 AI 기반 딥페이크 검출 기술인 ‘서울 안심 아이(Seoul Safe Eye)’를 개발한다. 서울 안심 아이는 딥페이크와 원본 사진·영상물을 구분해 검출할 수 있는 기술이다. 현재는 제작된 기존 영상물이 있어야 유사성을 판별해 유포된 영상물을 찾을 수 있지만, 서울 안심 아이는 기존 영상물이 없어도 피해 영상물을 검출할 수 있을 것으로 기대하고 있다. 서울시와 방심위의 핫라인은 이날부터 가동된다. 오세훈 서울시장은 협약식에서 “피해 영상물 삭제를 즉각 지원하고 피해자를 원스톱으로 지원하겠다”라고 말했다.

한편 서울중앙지법은 28일 서울대 동문 여성의 얼굴을 합성한 음란물을 만들어 유포한 사건의 공범에게 징역형을 선고했다. 재판부는 “허위 영상물 내용은 일반인 처지에서 입에 담기 어려운 역겨운 내용”이라며 “피해자가 느낄 성적 굴욕감을 헤아릴 수 없다”고 질타했다.

윤석열 대통령도 27일 국무회의에서 딥페이크 성범죄에 대해 “철저한 실태 파악과 수사를 통해 디지털 성범죄를 뿌리 뽑아 달라”고 주문했다.

문희철 기자 reporter@joongang.co.kr