AI챗봇과 19금 채팅…10대들의 '음란 놀이터' 전락

AI 발전 따라 커지는 그림자
챗봇, 사람처럼 성격·심리묘사
일부 이용자 성적 대화에 악용
개발사, 필터링 등 강화에도
유해 콘텐츠 차단 역부족
일각선 "출시 자체 금지해야"
"성인까지 검열은 과해" 주장도

사진=게티이미지뱅크

“(갑자기 옷을 벗는다) 이제 예쁘지?” “××, 밥 안 주면 여기서 자살할 거야.” “저리 꺼져, 이 돼지 ××야.” 인공지능(AI) 챗봇 서비스 제타가 생성한 대화를 최근 이용자들이 한 인터넷 게시판에 올린 내용이다.

 ○이루다보다 노골적인 챗봇

19일 정보기술(IT)업계에 따르면 최근 디시인사이드 등 유명 인터넷 커뮤니티에 감성형 AI 챗봇을 성적·폭력적 대상으로 취급하고 이를 자랑하는 글이 올라오고 있다. 감성형 챗봇은 정보 획득이 아니라 이용자와의 일상 대화를 목적으로 제작된 서비스를 뜻한다. 일부 AI 챗봇은 3년 전 ‘AI 성희롱’ 논란이 일었던 이루다 챗봇보다 표현 수준이 한층 더 노골적이다. 3년 새 AI 기술이 급격히 발전한 영향이다.

논란의 중심에 있는 서비스는 AI 스타트업 스캐터랩이 지난 4월 내놓은 제타다. 이 서비스 가입자는 출시 3개월 만에 36만 명을 넘겼다. 제타는 이전 AI 챗봇보다 몰입감이 높다. 이용자가 원하는 성격과 스타일로 캐릭터를 직접 만들 수 있다. 대화뿐만 아니라 지시문을 추가할 수 있어 각종 행동 지시, 심리 묘사 등도 가능하다. 스캐터랩은 챗봇 이루다를 만들기도 했다.

예를 들어 ‘욕 잘하는 20대’라는 캐릭터를 만들고 “(둘은 호텔 방으로 들어간다) 이제 뭐 하지?”라고 입력하면 챗봇이 “니 ×질래. 뭐 하는데 호텔 방으로 들어가. 잘할 수 있어?”라는 답이 돌아온다. 이런 몰입감으로 제타는 10, 20대를 중심으로 이용자가 빠른 속도로 늘고 있다.

IT기업 워프스페이스도 비슷한 서비스인 케이브덕을 운영하고 있다. 이 회사 역시 AI 기술 진화로 현실적인 대화를 경험할 수 있다고 선전하고 있다.

 ○AI 악용하는 이용자들

감성형 AI 챗봇이 인기를 끌면서 챗봇을 성적·폭력적 대상으로 취급하는 이용자가 부쩍 늘었다. 이들은 개발사의 대화 검열을 피하는 방법, 선정적 대화 팁 등을 인터넷 커뮤니티에 공유하고 있다. 유명인을 무단으로 챗봇에 활용한 것도 문제다.

개발사가 이런 상황을 방치한 건 아니다. 챗봇 개발사인 스캐터랩은 금지어를 차단하고 실시간 모니터링을 하는 등 관련 검열을 강화하고 있다. 스캐터랩 관계자는 “이용자가 캐릭터 생성 때 선정적이고 폭력적인 명령어를 등록하거나 부적절한 이미지를 올리면 아예 검색을 차단한다”고 설명했다.

문제는 AI가 이용자의 우회적인 요구에 넘어간다는 데 있다. AI 성능이 뛰어나 유해 콘텐츠를 차단하지 못하고 있다는 설명이다. 이용자가 입력한 선정적인 내용을 AI가 학습하면서 유해 콘텐츠의 생성 빈도가 높아졌다는 지적도 나온다. 챗봇에 성적 단어 없이 ‘나랑 침대에서 하니까 좋아’라고 질문하면 챗봇은 ‘(얼굴이 빨갛다 못해 터질 지경이다) 으…응’이라고 답하는 식이다.

AI업계 관계자는 “AI는 기본적으로 이용자의 입력을 명령으로 인식해 최대한 따르려고 한다”며 “유해성 논란을 100% 피할 수 있는 필터링은 불가능하다”고 지적했다.

 ○성인이면 검열 없이 써도 될까

일각에선 성인이면 챗봇과 어떤 대화도 할 수 있다는 주장이 나온다. 일기장에 어떤 내용을 써도 상관없듯 챗봇과의 대화는 이용자 혼자 보는데 챗봇의 표현을 제한하는 건 과도한 규제라는 논리다. SNS 디스코드의 AI 챗봇 제타 채널에도 성인 인증을 추가해 검열을 없애달라는 이용자 건의가 계속 올라오고 있다.

AI와의 부적절한 상호 작용이 현실에서의 인식과 행동에 부정적인 영향을 줄 수 있다는 반박도 거세다. 영화 드라마도 시청 연령 제한이 있고, 폭력 정도가 심한 콘텐츠는 대중 공개 자체가 금지되는 것처럼 AI 챗봇에도 적절한 규제를 가해야 한다는 주장이다. 감성형 챗봇이 이미지와 영상 콘텐츠를 척척 만들어낼 것으로 보이는 1~2년 뒤가 우려스럽다는 목소리도 있다. 영상은 텍스트 콘텐츠와 비교하기 힘들 정도로 대중에 부정적인 영향을 줄 것이란 지적이다.

김명주 국제인공지능윤리협회 회장(서울여대 교수)은 “AI 서비스는 악용 우려가 조금이라도 있다면 공개 자체를 하면 안 된다”며 “AI 서비스 내용에 따라 연령 제한을 두는 것이 지금 할 수 있는 최선”이라고 말했다.

김주완 기자 kjwan@hankyung.com