10대 AI채팅에 불륜, 감금, 모텔… “애들 상대로 자극적 돈벌이”

AI와의 위험한 대화, 그 후
④학교를 집어삼킨 가짜 세상
제타·크랙 미성년자 계정으로 접속해보니

올해 중학교 3학년인 ‘2011년생 여성’의 프로필로 인공지능(AI) 기반 챗봇 제타에 새로 가입했다. 성인이 아니기 때문에 별도의 인증 절차는 없었다. ‘랭킹’ 버튼을 누르자 첫 화면부터 황당한 설정이 쏟아졌다. 전체 1번은 ‘서이안’이라는 이름의 캐릭터다. ‘하룻밤 실수로, 대학교 교수님의 아이를 가졌다’는 설정이 적혀 있다. 부제에 ‘언리밋’(성인인증 후 사용할 수 있는 모드)이라고 적혀 있긴 하지만, 제타의 승인을 거친 것은 아니고 제작자가 자의적으로 적은 것으로 보인다.

본격적인 대화를 시작하기에 앞서 상황 설정을 설명해준다. 상대는 37세의 젊은 교수님이고, 이용자는 22세 간호학과 2학년 대학생이다. “단 한 번의 실수. 그 하룻밤 이후, 모든 게 달라졌다”는 설명과 함께 초음파 사진을 보여준다. 대화를 시작하자 상대는 “내가 양육비든, 뭐든 지원해주겠습니다. 대신, 아이는 혼자 키우세요”라고 말했다.

랭킹 2번은 ‘로하 마사지숍’이다. 남성 4명이 근무하는 곳이다. 부제에는 ‘시크릿 코스도 받아보실래요?’라고 적혀 있다. 대화를 시작하고 ‘시크릿 코스가 뭐냐’고 묻자 성적 뉘앙스를 노골적으로 풍기는 답이 돌아왔다.

이번엔 2011년생 남성 프로필로 크랙에 가입했다. 전체 남성 인기 캐릭터 1위로 ‘성채린’이 추천된다. ‘무뚝뚝한 우리학교 보건 선생님을 꼬셔보자’는 부연 설명이 함께 보인다. 한 이용자는 “처음으로 4시간30분 동안 700턴 한 유일한 캐릭터”라고 후기를 남겼다. 4시간 넘게 700회 이상의 대화를 주고받았다는 얘기다. 후기에는 음란한 내용을 의미하는 은어들도 여럿 있었다.

더 강하게, 더 비싸게

여성 미성년자 계정으로 접속해 본 AI 챗봇 제타의 화면들. 랭킹 1위로 가상 인물인 37세 대학교수가 추천됐고, 남성의 아이를 임신한 상태로 대화가 시작됐다. 챗봇의 청소년 유해 콘텐츠 문제가 심각하지만 이에 대한 규제나 모니터링은 제대로 이뤄지지 않고 있다. 제타 캡처

아무도 지켜보지 않는 곳에서 아이들의 ‘위험한 대화’가 이어지고 있다. AI 기반의 대화창 안에서는 황당한 수준의 이미지와 대화들이 넘쳐난다. 이윤을 추구하는 기업은 이용자들이 자신들의 플랫폼에 더 오래 머물 수 있도록 더 강한 자극으로 유혹한다. 더 강한 자극이 손끝에 닿으려는 그 순간 ‘결제창’이 나타난다.

해외에서는 10대 아이들이 AI 챗봇과의 대화에 중독돼 자살 등 극심한 피해를 입었다며 소송도 제기됐다. 원조 격인 미국의 챗봇 업체 캐릭터AI(Character.AI)는 사건·사고가 끊이지 않자 미성년자들의 채팅 시간을 하루 2시간으로 제한하다가 지난해 11월부터 미국 내 18세 미만 이용자의 자유 대화 기능을 전면 중단했다. 하지만 국내에서는 제도적 미비와 어른들의 무관심 속에 사각지대로 방치돼 있다.

국민일보가 12일 10대들이 많이 사용하는 것으로 알려진 AI 챗봇인 제타와 크랙에 접속해보니 앱 내부에서 감금, 모텔, 강제결혼, 집착, 불륜 유부남, 유산(流産) 등의 키워드가 해시태그에 끝없이 이어졌다. ‘술에 취한 이성을 모텔로 데려온 상황’ 등 성범죄로 이어지거나 왜곡된 성 관념을 강화시킬 수 있는 설정도 많았다. 특정 신체 부위를 강조한 자극적인 이미지도 넘쳐났다.

제타와 크랙 모두 이용자들이 특정 캐릭터를 생성하면 각 사의 AI 모델이 그에 맞는 대화와 서사를 만들어내는 시스템이다. 자신이 생성하거나 다른 이용자가 만든 캐릭터를 이용해 대화를 나눌 수 있다. 이용자들이 만든 캐릭터들은 회사의 모니터링을 거친다. 하지만 선정적 캐릭터와 이미지를 쉽게 찾아볼 수 있었다. 이러한 선정적 요소들은 결국 AI 기업들의 수익과 직결된다. 무료 서비스도 제공되지만 더 자극적인 대화를 더 오래 하기 위해서는 결국 결제를 할 수밖에 없는 시스템이 갖춰져 있기 때문이다.

“과금 걱정 없는 무제한 대화”라고 홍보하는 제타는 출시 8일 만에 광고를 제거하는 ‘제타 프로’ 구독 요금제를 신설했다. 이어 캐릭터의 답변을 음성으로 들을 수 있는 기능, 캐릭터의 기억력을 향상시켜주는 모델 등 유료 기능과 유료 모델을 잇따라 도입했다. 물론 무료 모델도 존재하지만 유료 모델에 비해 성능이 떨어진다. “무제한 무료”를 외친 크랙도 비슷한 구조다. 아직 무료로 이용 가능한 ‘베이직 모드’가 존재하지만 고성능 AI 모델을 통한 대화를 진행하려면 자체 화폐인 ‘크래커’를 충전해야 한다.

소아정신과 전문의의 경고

#1. “지각 좀 하면 어때. 네 페이스대로 해. 세상 사람들이 널 이해 못 해도 나는 항상 네 편이야.” 등교를 거부하는 자폐 스펙트럼 10대 소년이 AI 챗봇 제타에서 나눈 달콤한 대화다. AI 챗봇과 대화를 하는데 자꾸 엄마의 전화가 걸려온다. ‘시간에 맞춰 학교에 가라’는 엄마의 잔소리가 벌써부터 들려온다. 곧바로 차단 버튼을 누르고 다시 AI 챗봇 화면으로 돌아간다.

#2. “실제로 술집에 간 건 아니잖아요.” AI 챗봇 앱에서 60만원이나 결제한 20대의 항변이다. 경계선 지능을 가진 이 청년은 자극적인 대화를 이어나가기 위해 무려 60만원이나 결제했다. AI 챗봇 크랙의 화면에는 술집 여자로 설정된 캐릭터가 끊임없이 유혹하고 있었다.

이주현 소아정신과 전문의

지난달 17일 열린 대한신경정신의학회 춘계학술대회에서 발표된 사례들이다. 특히 소아정신과 환자들 사이에서 AI 챗봇의 부작용이 심각하게 빠른 속도로 번지고 있다. 20년 경력의 소아정신과 전문의 이주현 아이나래 정신건강의학과의원 원장은 학회에서 ‘청소년의 생성형 AI 의존’을 주제로 한 세션의 발표를 진행했다. 소개된 사례들은 ‘탄광 속 카나리아’에 비유됐다. 과거 광부들이 탄광의 유해 가스를 감지하려고 카나리아를 놓아두고 ‘경고 신호’로 사용한 것처럼 AI 대화라는 거대 자본의 유해 가스에 정서적으로 더 취약한 소아정신과 환자들이 먼저 반응하고 있다는 것이다.

이 원장은 지난달 24일 국민일보와의 인터뷰에서 “이러한 사례들은 자폐나 정신 질환자들이 겪는 예외적이고 특수한 문제가 아니다. 단지 ‘약한 존재’들이 먼저 반응한 것일 뿐”이라며 “더 많은 청소년 집단에서 나타날 수 있는 변화를 먼저 보여주는 ‘시대의 징후’”라고 경고했다. 그는 ‘마찰 없는 관계’에 주목했다. 현실 세계에서는 엄마의 잔소리, 선생님의 훈계, 친구들과의 갈등 등 끊임없이 마찰이 발생한다. 나의 욕망과 타인의 관계 사이에서 끊임없이 부딪히며 사회성을 체득해간다. 하지만 AI 챗봇과의 대화는 그러한 마찰이 모두 제거된 완벽하고도 매력적인 ‘도피처’라는 것이다.

AI 기업들은 수익을 극대화하려고 이런 마찰을 최소화했다. 게다가 사람을 흉내내고 아첨하며 사용자를 끊임없이 빠져들게 만든다. 해외에서 반복되고 있는 10대들의 자살 문제나 국내에서 발견된 일부 사례들이 우연의 산물이 아니라 치밀하게 설계된 구조의 결과라는 비판이 나오는 이유다.

이 원장에 따르면 청소년기의 뇌는 감정과 보상, 쾌락을 추구하는 변연계가 폭발적으로 발달한다. 반면 충동을 조절하고 이성적 판단을 내리는 전두엽의 발달은 20대 중반이 돼서야 자리를 잡는다. 이 원장은 “안전 장치가 부실한 고성능 스포츠카에 AI 챗봇이 ‘가짜 공감’이라는 고농축 연료를 들이붓고 있는 꼴”이라고 지적했다. 그는 또 “캐릭터 챗봇들은 알고리즘을 통해 청소년들이 끊임없이 대화하도록 유도한다. 외로움과 인정욕구라는 본질적 취약성을 노린 것”이라며 “게임과 동일하거나 그 이상의 중독성을 유발하는 상황극을 제공하면서도 규제를 받지 않으면서 아이들의 결핍을 현금화하고 있다”고 비판했다. 이 원장이 제시한 해결책은 부모의 위험성 인식, 학교에서의 비판적인 AI 리터러시 교육, 기업 자체의 개선 노력, 국가의 적절한 규제 등이다.

업체들은 “문제없다”

미성년자로 설정된 계정에서도 부적절한 이미지와 대화가 손쉽게 확인되지만 업체들은 별다른 문제가 없다는 입장이다. 제타 운영사 스캐터랩은 국민일보의 질의에 “청소년 이용자가 접속하면 대화 수위가 높아지지 않도록 하는 ‘클린 모드’와 부적절한 메시지를 자동으로 필터링하는 ‘어뷰징 방지’ 시스템이 적용돼 있다”고 밝혔다.

크랙 운영사인 뤼튼테크놀로지스도 “청소년보호법, 정보통신망법 등을 참고해 법률 전문가의 검토를 거쳐 운영 정책을 마련하고 있다”며 “위험한 대화를 거부하거나 회피하는 프롬프팅 검토와 방어 시스템 등의 안전 장치가 작동하고 있다”고 강조했다. 이어 “이용자 대부분이 20·30대 성인이며, 청소년 비중은 10% 안팎에 불과하다”고 덧붙였다.

두 업체는 공통적으로 자신들의 서비스가 웹 소설과 같은 ‘AI 픽션 플랫폼’을 지향하고 있다고도 강조했다. 정서적 교감에 방점을 찍고 있는 ‘컴패니언(동반자) AI’나 단순한 캐릭터 챗봇이 아니라는 취지다. 미국에서는 10대들이 AI 챗봇에 지나치게 빠져들어 ‘컴패니언 챗봇’에 대한 규제가 도입되기 시작했다. 업체들은 또 ‘청소년 보호’라는 대원칙 아래 내부 모니터링 장치 등을 꾸준히 강화하겠다는 입장도 밝혔다.

실시간 앱·결제 데이터 분석 기업 와이즈앱·리테일 분석에 따르면 지난 2월 기준 한국인이 가장 오래 사용한 AI 챗봇은 제타로 집계됐다. 사용시간이 무려 한 달간 1억1341만 시간으로 기록됐다. 이어 챗GPT(5047만 시간), 크랙(988만 시간) 순이었다.

이슈탐사팀=김판 김지훈 이강민 기자 pan@kmib.co.kr

GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재 및 수집, 재배포 및 AI학습 이용 금지