서울시·방심위, 딥페이크 핫라인 구축…증빙 없이 즉시 삭제

카카오톡 오픈채팅방 '딥페이크 SOS 전담 상담창구' 개설
AI 시스템 고도화 '자동 신고'…딥페이크 검출 기술 개발

오세훈 서울시장(좌측에서 두번째)과 류희림 방송통신심의위원장(우측에서 두번째)이 28일 '딥페이크 영상물 삭제 지원을 위한 업무협약'을 체결했다.(서울시 제공)

(서울=뉴스1) 박우영 기자 = 서울시는 딥페이크 성범죄에 대응하기 위해 방송통신심의위원회와 핫라인을 구축한다고 28일 밝혔다.

최근 중·고등학교, 대학가, 군 등에서 딥페이크 영상 유포가 사회적 문제로 급부상하고 있다. 텔레그램에서 언급된 전국 피해 학교만 400~500곳으로 추산되면서 시민 불안이 증폭하고 있다. 딥페이크란 인공지능(AI) 기술을 이용해 특정 인물의 얼굴 등을 음란물과 합성한 가짜 영상물이다.

오세훈 서울시장과 류희림 방심위 위원장은 이날 긴급 회동하고 딥페이크 영상물을 신속하게 삭제하기 위한 핫라인 구축을 골자로 협약을 체결했다.

양 기관은 폐쇄형 SNS 내에 있는 딥페이크 불법영상물이 성인사이트·사회적관계망서비스(SNS) 등 공개사이트에 유포될 경우 24시간 내에 신속하게 모니터링 및 삭제·차단될 수 있도록 조치할 계획이다.

기존에는 시 디지털성범죄안심지원센터가 방심위에 삭제요청 할 때마다 각종 증빙자료를 제출해야 했다. 핫라인을 구축하게 되면 시스템으로 연계해 대량 건수를 일시에 삭제 요청할 수 있게 된다.

서울시는 급증하는 딥페이크 범죄에 아동·청소년도 쉽고 빠르게 대응할 수 있도록 카카오톡 오픈채팅방에 '딥페이크 SOS 전담 상담창구'를 개설하고 피해지원관(2명)을 배치해 신고방법 및 범죄 채증방법 등을 안내한다.

SOS 전용 상담창구에서는 피해에 대한 신속하고 효율적인 상담 및 삭제 지원 등이 진행된다. 피해자에게 필요한 종합적인 내용을 안내해 필요시 수사기관이나 의료기관에 동행하는 서비스도 제공한다.

시는 피해상황을 24시간 모니터링할 뿐 아니라 자동으로 삭제신고 하는 시스템을 연말까지 구축할 계획이다. 현재는 AI가 모니터링한 내용을 상담원이 직접 삭제신고 해야 한다.

내년에는 AI를 기반으로 한 딥페이크 검출 기술 '서울 안심 아이(Seoul Safe Eye)'도 개발해 딥페이크와 원본 사진·영상물을 구분해 검출해 나갈 방침이다.

또 경찰 조사에서 딥페이크 범죄혐의 전체 피의자 중 10대 비중이 75.8%로 드러난 만큼 아동청소년 대상 교육을 강화한다.

다음 달부터 초·중·고등학교 대상 눈높이 딥페이크 예방교육을 50개 학급 1000명 대상으로 실시한다.

오세훈 서울시장은 "오늘 이 시간부터 즉시 딥페이크 영상물을 신고받고 24시간 내 삭제하는 핫라인을 방송통신심의위원회와 함께 운영한다"며 "피해 영상물을 즉각적으로 삭제하고 피해자를 원스톱으로 지원하는 것은 전국 최초"라고 말했다.

이어 "올해 말까지 AI 기반 딥페이크 검출 기술과 자동 신고 시스템을 개발해 시간 단축, 삭제지원 건수 증가 등 시민들의 딥페이크 영상물 피해를 최소화하도록 노력하겠다"고 말했다.

alicemunro@news1.kr