불법 촬영물 찾고 삭제까지 '단 6분'…서울시, AI 자동 삭제 신고 시스템 도입

디지털성범죄 영상 검출부터 삭제까지 AI가 '원스톱' 지원
영어, 중국어, 일본어, 러시아어 등 7개 언어로 삭제 요청
AI 도입 이후 삭제 지원 건수 1만4,256건으로 대폭 상승

"불법 촬영물 포함 게시글 삭제 요청 메일 전송을 완료했습니다."

서울시 디지털성범죄 안심지원센터의 모니터링 화면에 불법 촬영 영상물이 감지된다. 딥페이크 합성물이 의심되는 섬네일을 클릭하자, 인공지능(AI)이 검색을 통해 또 다른 유사 동영상을 찾아내고 자동으로 영상을 채증했다. 이어 영상이 게시된 각 사이트 주소와 함께 삭제 요청 메일도 자동 완성됐다. 삭제지원관이 작성된 메일을 검토한 뒤 '전송' 버튼을 누르기까지 걸린 시간은 고작 6분이었다.

AI 도입으로 3시간 걸리던 삭제 요청 6분으로 단축

서울시는 이 같은 방식의 'AI 자동 삭제신고 시스템'을 개발해 실행에 들어갔다고 21일 밝혔다. AI 자동 삭제신고 시스템은 디지털 성범죄 영상물을 찾고, 기록하고, 삭제 요청하는 전 과정을 자동화한 전국 최초 시스템이다. 이전에는 영상 하나를 삭제 요청하려면 삭제지원관이 직접 스크린샷을 찍고, 문서화하고, 이메일을 쓰는 데 3시간 가까이 걸렸던 모든 과정을 AI가 단숨에 처리한다.

이미지와 텍스트를 동시에 인식하고 해석하는 '멀티모달 대형언어모델(MLLM) 기술'로 유해 콘텐츠를 자동 분류하고 '삭제해달라'는 내용의 이메일과 채증 보고서를 자동으로 생성한다. 콘텐츠 신고에 필요한 클릭과 텍스트 입력, 신고 버튼 생성 등 반복 작업도 AI가 대신한다. 해외에 서버를 둔 사이트로 유포됐더라도 삭제 요청이 가능하다. 영어·중국어·일본어·러시아어 등 7개 언어로 메일을 생성할 수 있기 때문이다.

서울시 관계자는 "텍스트, 이미지, URL 등 콘텐츠에 포함된 핵심 정보를 자동 추출해 한글 문서로 변환하기 때문에 향후 사법 절차에 필요한 법적 증거자료로 즉시 활용할 수 있다"고 설명했다. 해당 사이트가 삭제 요청을 무시하거나 거부하면 전기통신사업법(22조 5항)에 따라 3년 이하 징역 또는 1억원 이하 벌금, 매출액의 3% 이하에 해당하는 과징금, 사업 정지 등 제재를 받는다.

속도·정확성 동시 향상...지난해 1만4,000여건 삭제 지원

서울시에 따르면 2023년 디지털성범죄 피해자 지원에 AI기술이 도입되면서 불법 영상물 검출 속도와 정확도가 눈에 띄게 향상됐다. 키워드 입력부터 영상물 검출까지 걸리는 시간은 3분 정도로 사람이 했을 때보다 작업시간이 97.5% 단축되고, 정확도도 200% 이상 높아졌다. 덕분에 센터의 삭제지원 실적도 AI 도입 전(2022년) 2,509건에서 지난해 1만4,256건으로 대폭 늘었다.

특히, 아동·청소년 대상 범죄 피해에 대한 지원이 증가했다. 2022년 서울시가 지원한 아동·청소년 피해자는 50명으로 전체 피해자의 16.2%를 차지했으나 지난해에는 624명(22.1%)으로 12배 이상 증가했다. 범죄 형태도 달라지고 있다. 아동·청소년 대상 온라인 그루밍(길들이기) 피해는 2022년 19건(3.3%)에 불과했으나 지난해 370건(10.6%)으로 약 20배 증가했다.

서울시 관계자는 "디지털 성범죄 기술이 교묘해져 범죄 피해도 심각해지고 있다"며 "익명 상담과 심리치료를 비롯한 수사·법률·의료·삭제까지 '원스톱' 지원으로 피해자를 보호할 것"이라고 말했다.

김민순 기자 soon@hankookilbo.com

한국일보

사회