학교 안 AI 음란물 뿌리 뽑는다... 유포하면 최대 퇴학 처분[청소년 위협하는 '딥페이크']

교육부 딥페이크 대응 TF 운영
방심위, 해당 영상 신속 삭제 조치
유해 이미지 업로드 원천 차단 등
국내 플랫폼 기업 범죄 예방 협력
생성형 AI업계 "핀셋 규제 시급"
오픈소스 모델 통제 고려해볼 만

최근 여학생 얼굴에 음란물을 합성해 편집한 허위영상물을 생성·유포하는 '딥페이크' 성범죄가 확산하면서 관계당국이 유포자 퇴학 등 강력 대응에 나선다. 교육부는 대응 전담조직(TF)을 운영하고 과학기술정보통신부, 여성가족부, 경찰청 등 관계부처와 다음 달 대책회의를 열기로 했다. 방송통신심의위원회(방심위)도 글로벌 온라인 플랫폼 사업자들과 협의체 구성에 나선다.

■"딥페이크 뿌리 뽑겠다"…징계 수위 높인다

교육부는 딥페이크 가해자의 학교폭력대책심의위원회(학폭위) 징계 수위와 관련, "딥페이크는 아주 고의적이고 피해가 클 가능성이 높다"며 처벌 의지를 강하게 피력했다. 김도형 교육부 학교폭력대책과장은 28일 정부세종청사에서 열린 브리핑에서 "학교폭력 처벌 수위는 학폭위에서 정하도록 하고 있고 학폭위는 지속성, 고의성, 피해 크기, 피해회복 여부 등을 본다"며 이같이 말했다.

학폭위 조치는 1호(피해학생에 대한 서면 사과)부터 9호(퇴학)가 가능하다. 딥페이크처럼 고의적이고 피해가 큰 학교폭력의 경우 원칙상 퇴학까지 이를 수 있다는 의미다.

교육부에 따르면 올해 1월부터 이달 27일까지 접수된 피해신고는 총 196건으로 이 중 179건은 수사 의뢰된 상태다.

교육부는 차관을 단장으로 하는 '학교 딥페이크 대응 긴급 TF'를 구성하고 분야별 6개팀(7개과)으로 이뤄진 상황반을 운영한다. △학교 딥페이크 관련 사안을 매주 1회 조사 △학생·교원 피해사안 처리 △학생·교원 심리지원 △학교 예방교육·인식개선 △디지털 윤리 및 책임성 강화 등 분야별로 대응해 나갈 방침이다.

오는 30일에는 시도교육청 부교육감과 긴급회의를 열고 내달 중 과기정통부, 여가부, 경찰청 등 관계부처와 대책회의도 연다. 전문가·유관기관·시도교육청 자문단을 구성해 9월부터 운영해 10월 중 '교육 분야 딥페이크 대응 후속 조치'를 발표할 방침이다.

방심위도 이날 긴급 전체회의를 소집하고 국내 주요 포털사이트는 물론 텔레그램·페이스북·엑스·인스타그램·유튜브 등 글로벌 온라인 플랫폼 사업자들과 협의체를 구성해 신속한 영상 삭제·차단 조치와 자율적인 규제를 강력히 요청하겠다고 밝혔다. 현재 시정요청 협력대상에 등재돼 있지 않은 텔레그램도 향후 공식 등재해 자율삭제를 유도할 방침이다.

아울러 현행법과 심의규정 미비로 인해 관련 범죄가 확산되고 있다는 지적에 따라 보완입법도 관계기관에 건의한다. 현행법은 아동 성착취물을 소지 또는 유포하기만 해도 처벌이 가능하나 디지털 성적 허위영상물은 관련 규정이 없어 사각지대에 놓여 있다.

방심위는 관련 전문가들과 협력해 보완입법 전에 할 수 있는 최대한의 심의규정 보완도 강구하겠다고 강조했다. 방심위는 전날부터 홈페이지에 딥페이크 성범죄 영상물 신고 전용 배너를 별도로 설치하고 신고·상담 기능을 강화하기로 했다. 또 딥페이크 성범죄 영상의 주요 유포경로인 텔레그램 등 주요 SNS에 대한 자체 모니터 인원을 늘려 집중 모니터링을 통해 신속하게 적발하고 향후 전담인력을 늘릴 방침이다.

■업계 "핀셋규제 필요"

관련 업계도 피해 방지를 위한 추가 조치가 필요하다고 강조했다. 네이버와 카카오는 유해 이미지는 업로드 자체가 불가능하도록 막고, 딥페이크 관련 검색어를 청소년 보호 검색어로 지정하는 등 사전 조치를 취하고 있다.

국내 생성형 AI 업계는 현행 조치를 넘어 AI 생성물 '워터마크(표식)' 의무화나 핀셋규제 필요성이 필요하다고 지적했다. 현재 관련 법안은 국회에 계류되어 있다. 아울러 제작 단계부터 막기 위해 오픈소스(개방형) AI 생태계도 들여다봐야 한다는 조언이 나온다.

업계 관계자는 "AI 제작 시 AI가 만든 콘텐츠라고 표시를 하도록 해야 할 것 같다"며 "구글이나 오픈AI 등 주요 AI 개발사들의 AI 모델보다 개발자들이 웹상에 올려둔 오픈소스 AI를 파인튜닝(미세조정)하는 게 악용하는 입장에선 쉬울 것이다. 오픈소스 AI 모델 생태계는 통제가 안 되고 있기 때문에 해당 부분에 대한 규제도 고려해볼 수 있다"고 전했다.

한편 과기정통부와 여가부는 딥페이크 대응에 협력하기로 했다. 과기정통부 강도현 제2차관과 여가부 신영숙 차관은 서울 중구 디지털성범죄피해자지원센터를 찾아 딥페이크 성범죄 피해 예방과 피해자 지원방안을 긴급 점검했다.

solidkjy@fnnews.com 구자윤 윤홍집 임수빈 기자