아동 성착취물, AI가 검색어 생성해 자동으로 찾아 지운다

서울 디지털 성범죄 안심지원센터에 신고된 서열·노예놀이 체팅방을 통한 아동·청소년 성착취물 피해 사례 예시. 서울시 제공

인공지능(AI)이 성착취물 관련 키워드를 자동생성해 검색하는 기술이 개발됐다. 이 시스템은 영상 속 얼굴이 없어도 아동·청소년 피해 영상물에 자주 등장하는 주변 사물과 언어 등도 구분해 아동 성착취물을 찾아낸다.

서울시는 지난해 전국에서 처음으로 AI 기반 아동·청소년 성착취물 기술을 개발한 데 이어 24시간 자동 추적·감시 시스템을 강화했다고 22일 밝혔다.

디지털 성범죄는 10~20대 피해자 비율이 상대적으로 높지만 피해 사실을 외부에 알리지 않아 성착취물이 소셜미디어(SNS) 등을 통해 유포되는 경우가 많다.

서울여성가족재단 운영하는 ‘서울 디지털 성범죄 안심지원센터’에 접수된 성착취물 삭제 요청 사례를 보면 아동·청소년 피해자가 스스로 신고한 경우는 7.8%에 그친다. 이에 센터 지원관이 지난 1년간 삭제한 2720건의 동영상 가운데 신고 요청 비율은 15.6%에 불과하다.

부모님 등이 피해 사실을 인지하거나 수사·사법기관 신고로 이뤄지는 경우가 대부분이기 때문이다.

이에 지난해 서울시는 AI 기술을 통한 자동 추적·감시 알고리즘을 개발해 24시간 불법 영상물을 찾아 삭제를 지원 중이다.

센터 관계자는 “추가로 개발한 AI 시스템은 인공지능의 딥러닝 기반 안면인식 기술로 성인과 잘 구분되지 않는 아동·청소년의 성별과 나이를 판별할 수 있다”며 “영상물에 얼굴이 나오지 않더라도 아동·청소년 피해 영상물 여부를 찾아낼 수 있다”고 설명했다.

아동 성착취물에 자주 등장하는 책과 교복, 인형 등 주변 사물, 이미지 속 텍스트, 청소년 언어까지 함께 AI가 인식해 최종적으로 피해 영상물 여부를 판별하는 것이다.

서울시가 개발한 아동·청소년 디지털 성범죄 인공지능(AI) 감시 시스템 결과 화면 예시. 서울시 제공

또 AI가 SNS 빅데이터 분석으로 아동·청소년 성범죄물 관련 신조어를 자동으로 생성한다. 영상물 검출에 사용되는 키워드를 스스로 찾는 것이다. 예를 들어 기존에는 삭제지원관이 ‘딥페’(딥페이크의 약자)로만 검색했다면 AI는 ‘뒵페’ ‘뒷페’ 등의 신조어 자동으로 생성해 검색량을 늘린다.

기존에 미국을 중심으로 유포됐던 피해 영상물이 중국과 러시아, 베트남 등으로 확산되고 있어 국가 기반도 넓혀 검색 영역을 확장했다.

2022년 문을 연 센터에는 지난 2년간 935명의 피해 사례를 접수해 3만576건을 지원했다. 디지털 성범죄 피해자 가운데 아동·청소년 비중은 첫해 총 50명, 19.2%에서 2023년도 104명, 22.2%으로 늘었다. 이에 따라 10대 피해 지원도 2026건에서 1만5434건으로 7배 이상 증가했다.

온라인 그루밍(27.5%)과 성착취물 유포·재유포(18.2%), 유포 불안(17.4%) 피해가 여전히 많은 데 이어 최근에는 불법 사진 합성과 남성 청소년 대상 몸캠 피싱, 대출 조건 나체사진 전송 등의 가해도 증가 추세다.

서울 디지털 성범죄 안심지원센터에 신고된 채팅 아르바이트를 통한 아동·청소년 성착취물 피해 사례 예시. 서울시 제공

특히 채팅 아르바이트 등 돈을 미끼로 성적인 사진을 요구하는 피해가 크다. ‘채팅 1건당 70원’이라는 알바를 제안한 후 ‘사진 1건당 5만원’, ‘영상통화 1건당 20만원’ 등으로 유인하는 식이다. 온라인 게임 아이템을 대가로 사진을 요구하기도 했다.

김선순 서울시 여성가족정책실장은 “‘n번방 사건’ 이후 4년이 흘렀지만 아동·청소년을 대상으로 한 디지털 성범죄는 사라지지 않고 피해가 심각하다”며 “AI 기술로 피해 사진과 영상에 대한 선제적인 감시·삭제에 나서겠다”고 말했다.

김보미 기자 bomi83@kyunghyang.com