AI 데이터에 아동 성학대 이미지가…성범죄 악용 가능성

“데이터 완전히 걸러내는 기술 아직 없어”

레이온 홈페이지에 올라온 데이터베이스 '레이온-5B' 소개 사진. 홈페이지 캡처

고도화하는 인공지능(AI) 기술이 성범죄에 악용될 수 있다는 우려가 높아지고 있다. AI 훈련에 사용되는 데이터에 아동 성 학대 이미지가 포함된 경우까지 발생했다.

미국 스탠퍼드대 ‘인터넷 감시소’는 AI 오픈소스 데이터베이스 ‘레이온-5B’에서 아동 성 학대 이미지가 최소 1008장 발견됐다고 20일(현지시간) 발간한 보고서에서 밝혔다. 레이온-5B는 텍스트를 이미지로 변환하는 AI 모델에 활용되는 데이터베이스이며, 컴퓨터공학 전공자로 구성된 팀 ‘레이온’이 만들었다. 보고서 저자인 데이비드 틸은 “AI 모델이 이미지를 기반으로 실제 아동 성 착취와 비슷한 콘텐츠를 생산해낼 수 있다”고 말했다. 성 학대 이미지가 어떠한 경로로 데이터베이스에 포함됐는지는 파악 중이다.

레이온-5B는 58억개에 달하는 이미지 데이터로 구성됐다. 데이터 총량에 비하면 1000여장은 일부로 여겨질 수 있다. 그러나 성능이 뛰어난 AI 모델은 단 몇 장의 이미지만 학습하고도 사용자의 명령에 따라 부적절한 콘텐츠를 생산할 수 있다는 게 문제다.

영국의 ‘안전한 인터넷 센터’(UKSIC)는 일부 학교로부터 학생들이 AI 이미지 생성 프로그램을 이용해 외설적인 콘텐츠를 만들고 있다는 내용의 보고를 받았다고 밝혔다. UKSIC는 “부적절한 이미지를 만들어 소유하거나 배포하는 것은 명백한 불법”이라며 “문제가 커지기 전에 조치를 취해야 한다”고 강조했다. 미국의 교육 서비스 기업 ‘RM 테크놀로지’가 학생 1000명을 대상으로 한 조사에 따르면 3분의 1가량이 부적절한 콘텐츠를 보기 위해 AI를 사용하고 있다고 답했다.

앞서 소셜미디어(SNS) 분석 업체 ‘그래피카’는 지난 9월 한달 간 2400만명이 AI를 이용해 ‘가짜 누드’ 사진을 만드는 딥페이크 웹 사이트에 방문했다고 분석했다. 딥페이크 기술을 이용해 사진 속 사람이 마치 옷을 벗고 있는 것 같은 이미지를 만드는 사이트다. 같은 달 X(옛 트위터) 등 SNS에서는 ‘AI 옷 벗기기’ 애플리케이션을 광고하는 링크 수가 2400% 늘었다고 그래피카는 전했다.

이처럼 수많은 데이터를 학습해 사용자가 원하는 결과를 내는 AI 기술이 성범죄로 이어질 수 있는 가능성은 높아지고 있다. 그러나 AI 데이터의 적절성을 보장하는 기술의 개발은 요원하다는 지적이 나온다. 김명주 서울여대 바른AI연구센터장은 “AI 모델이 부적절한 이미지를 학습하는 걸 원천 차단할 수 있는 기술은 아직 없다”며 “이미지를 걸러내는 ‘자동화 툴(tool)’이 있긴 하지만, 기술이 완벽하진 않은 상황”이라고 말했다.

조민아 기자 minajo@kmib.co.kr

GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재 및 수집, 재배포금지