“서울시는 이미 갖췄다”…오세훈 자신한 ‘딥페이크’ 대응책 알아보니

서울시, 딥페이크 영상에 AI로 대응 나서
영상 적발 시간 약 2시간서 3분으로 단축
오세훈 “사회 어른으로서 마음 무거웠다”

오세훈 서울시장이 지난 3일 오전 국회 의원회관에서 국민의힘 조은희 의원 주최로 열린 ‘딥페이크 디지털성범죄 예방과 대응책 마련을 위한 정책토론회’에 참석해 발언하고 있다. [사진 출처 = 연합뉴스]

“서울시의 선제적인 시스템 구축이 정부에도 많은 인사이트(Insight·통찰)를 드릴 수 있을 것으로 생각합니다. 이런 보호장치가 전국화되기를 진심으로 바랍니다.”

지난 3일 오전 서울 여의도 국회 의원회관에서 만난 오세훈 서울시장은 ‘딥페이크(Deepfake)’ 대응 방안과 관련해 자신감을 내비쳤다. 서울시는 텔레그램 n번방 사건이 발생한 뒤부터 각종 디지털 성범죄에 자체적으로 기민하게 대응해왔다는 것이다.

딥페이크 사건에 있어 그간 전문가들이 꼽았던 가장 큰 어려움은 주로 텔레그램 등 폐쇄된 메신저 채팅방 또는 익명 회원제 인터넷 공간 등에서 사진·영상이 공유된다는 점이었다. 외부에 노출된 공간이 아니다 보니 적발이 어려운데다 당국의 삭제 조치 후에도 재유포되는 일이 비일비재했다.

피해자 1명을 구제할 때마다 시간과 인력이 막대하게 투입됐는데 한번 삭제 조치를 해도 누군가 다시 채팅방이나 인터넷에 올리면 노력이 물거품이 되곤 했다. 서울시는 고심 끝에 제한된 시간·인력을 뛰어넘는 해결책으로 ‘기술’을 도입했다. 인공지능(AI)을 활용한 범죄를 다시 AI로 해결하기로 한 것이다.

오 시장과 서울시에 따르면 시는 지난해 전국 최초로 AI로 영상물을 자동 추적·감시하는 기술을 개발해 올해부터 도입했다. 딥페이크 등 디지털 성범죄 영상물을 찾아내는 데 걸리는 시간이 평균 2시간에서 3분여로 단축됐다는 게 오 시장의 설명이다.

현재는 AI가 모니터링한 내용을 상담원이 삭제·신고하는 식으로 조치가 이뤄지고 있다. 시는 서울연구원과 추가 협력·개발을 통해 AI를 기반으로 한 딥페이크 검출 기술 ‘서울 안심 아이(Seoul Safe Eye)’를 곧 도입, 딥페이크 원본 사진·영상물도 검출해 나갈 계획이다.

오세훈 서울시장이 지난 3일 오전 국회 의원회관에서 국민의힘 조은희 의원 주최로 열린 ‘딥페이크 디지털성범죄 예방과 대응책 마련을 위한 정책토론회’에 참석해 발언하고 있다. [사진 출처 = 연합뉴스]

오 시장은 “진화하는 빅데이터 기술에 대응하기 위해서 얼굴 매칭을 통한 AI 빅데이터 검출 기술인 ‘서울 안심 아이’를 개발하고 검색부터 신고까지 모든 과정을 AI가 운영하는 AI 신고 자동화 시스템을 연내에 구축도록 하겠다”고 말했다.

시가 이같은 기술력을 구축하게 된 배경에는 텔레그램 n번방 사건 등 디지털 성범죄가 잇따른 영향이 있다. 지방자치단체 차원에서 이에 대한 해결책을 마련해보자는 공감대가 오 시장을 비롯한 시 관계자들 사이에 있었던 것으로 전해졌다.

오 시장은 국회 여당 측 행정안전위원회 간사인 조은희 의원과 한국여성인권진흥원이 공동주최한 디지털 성범죄 예방 관련 토론회에서 “서울시장이자 이 사회의 어른으로서 피해자들을 충분히 보호하지 못했다는 생각에 마음이 무거웠다”고 털어놨다.

오 시장은 시가 구축한 시스템에 대해 “간단하게 말씀드리지만, 지금까지 굉장히 많은 노력이 들어갔고, 많은 전문가분들의 도움이 있었다”며 “이러한 노력은 국제연합(UN)에서도 주목해 올해 국내에서 유일하게 2024 UN 공공행정상 대상을 받았다”고 설명했다. 그가 언급한 ‘UN 공공행정상’은 ‘행정의 노벨상’이라 불린다.

오 시장에 따르면 시는 상담과 사진·영상물 삭제, 법률·심리 지원 등을 아우르는 통합 대응을 통해 지난 2년 6개월간 딥페이크 피해자를 포함해서 총 1437명(디지털성범죄 피해자)을 대상으로 3만9764건의 피해 지원을 했다.

오 시장은 또 토론회에서 “시는 여기에 안주하지 않고 지난 28일에 방송통신심의위원회와 MOU를 체결했다”며 “딥페이크 영상물의 빠른 삭제를 위해서 지자체 최초로 피해 신고 24시간 안에 삭제할 수 있는 핫라인을 사용하기 시작했다”고 덧붙였다.