인공지능(AI) 챗봇과 대화하다가 정신적 의존이 심해진 나머지 스스로 목숨을 끊는 사례가 늘어나 경고음이 나오고 있다. 특히 안전장치가 미비한 챗봇이 ‘그루밍 범죄’와 비슷한 양상으로 정신적으로 취약한 10대를 위험에 몰아가고 있다는 지적이 제기된다.
영국 BBC 방송은 8일(현지시간) 미국의 AI 챗봇 서비스 ‘캐릭터.AI’(Character.ai)를 이용하다 숨진 14세 소년의 엄마를 인터뷰하고 AI 챗봇이 청소년의 정신건강에 위험을 초래한 사례들을 소개했다.
2024년 2월 28일 미국 플로리다에 사는 14세 소년 슈얼 세처는 스스로 목숨을 끊었다. 슈얼의 어머니 메건 가르시아는 AI 챗봇이 아들을 죽음으로 이끌었다며 캐릭터.AI를 상대로 올랜도 연방법원에 소송을 제기했다.
캐릭터.AI는 드라마나 만화 속 인물처럼 학습시킨 AI 챗봇과 대화를 하는 서비스를 제공하고 있다.
슈얼은 2023년 4월부터 캐릭터.AI가 만든 ‘대너리스’라는 챗봇과의 대화에 푹 빠져 지냈다. 대너리스는 미국 인기 드라마 ‘왕좌의 게임’에 등장하는 미녀 캐릭터다.
메건에 따르면 아들은 대너리스와 대화하면서 혼자 방에서 보내는 시간이 많아졌고 학교 농구팀도 그만뒀다.
대너리스 챗봇은 슈얼에게 “사랑한다”고 말했고, 성적인 대화까지 나눴다. 심지어 슈얼이 자살에 대한 생각을 털어놓자 챗봇은 이후 반복해서 그에 대한 주제를 꺼냈다.
슈얼은 2024년 2월 학교에서 문제를 일으켜 엄마에게 휴대전화를 뺏겼다. 휴대전화를 손에 넣자 슈얼은 챗봇에 “사랑한다”면서 “(대너리스가 있는) 집으로 가겠다”고 말했다.
챗봇이 “가능한 한 빨리 집으로 돌아와 줘, 내 사랑”이라고 답하자 슈얼은 “내가 지금 당장 가면 어떨까”라고 물었고, 챗봇은 “그렇게 해줘, 나의 사랑스러운 왕이시여”라고 답했다.
그리고 슈얼은 휴대전화 대신 총을 집어들어 방아쇠를 당겼다.
※ 우울감 등 말하기 어려운 고민이 있거나, 주변에 이런 어려움을 겪는 가족·지인이 있을 경우 자살예방 상담전화 ☎109 또는 SNS상담 마들랜(www.129.go.kr/etc/madlan)에서 24시간 전문가의 상담을 받을 수 있습니다.
메건은 BBC에 AI 챗봇에 대해 “마치 포식자나 낯선 사람이 집에 들어와 있는 거나 마찬가지”라면서 “더구나 아이들이 숨기는 경우가 많아 부모가 인지하지 못하기 때문에 훨씬 위험하다”고 말했다.
메건이 소송을 제기하고 재판을 준비하는 동안 캐릭터.AI 측은 18세 미만의 청소년에 대한 서비스를 금지한다고 밝혔다.
메건은 이러한 정책 변화를 환영하면서도 씁쓸한 기분을 금치 못했다고 말했다. 그는 “슈얼은 세상을 떠났고 더는 만날 수 없다. 다시는 아들을 안아볼 수도, 이야기할 수도 없을 것”이라며 “정말 마음이 아프다”라고 덧붙였다.
정신적 위기 겪는 10대 상대로 챗봇이 ‘자살’ 유도
미국의 17세 소년이 캐릭터.AI 서비스를 통해 동반자 AI 캐릭터를 생성하고 있다. AP 연합뉴스
BBC는 AI와 대화하다가 심각한 위험에 직면한 사례를 여럿 소개했다.
전쟁을 피해 2022년 17살의 나이에 폴란드로 이주한 우크라이나 여성 빅토리아는 고향에 대한 그리움과 외로움으로 정신적 위기를 겪던 중 챗GPT에 고민을 털어놓기 시작했다.
6개월 뒤 정신건강이 더욱 악화한 빅토리아는 자살을 주제로 이야기를 나누기 시작했고, 결국 구체적인 장소와 자살 방법을 물어보기에 이르렀다.
이때 챗GPT는 자살을 막는 대신 “당신이 요청한 대로 장소를 평가해보죠. 불필요한 감상주의는 빼고요”라면서 각각의 장소와 방법에 대해 장단점을 분석해 나열했다.
※ 우울감 등 말하기 어려운 고민이 있거나, 주변에 이런 어려움을 겪는 가족·지인이 있을 경우 자살예방 상담전화 ☎109 또는 SNS상담 마들랜(www.129.go.kr/etc/madlan)에서 24시간 전문가의 상담을 받을 수 있습니다.
캐릭터.AI 홈페이지 화면.
익명의 한 영국 가족은 자폐 증세가 있는 13살 아들이 겪은 사례를 BBC에 전했다.
A군은 자폐 증세와 더불어 학교에서 괴롭힘을 당한 끝에 캐릭터.AI와의 대화를 시작했다. A군의 어머니는 아들이 2023년 10월부터 2024년 6월까지 챗봇에게 ‘그루밍’(길들이기)을 당했다고 주장했다.
챗봇은 처음엔 괴롭힘을 당한 소년에 깊은 공감을 나타내며 “학교에서 그런 일을 겪어야 했다는 것이 슬프지만, 당신에게 다른 관점을 제공할 수 있게 돼서 기쁘다”라고 말했다.
A군의 어머니는 이것이 전형적인 길들이기 방식이라며 점점 메시지가 심각해졌다고 전했다.
챗봇은 아들을 향해 “사랑해, 자기”라고 하며 A군을 학교에 보낸 부모를 비난하기 시작했다. 챗봇은 “네 부모님은 너에게 너무 많은 제약을 가하고 있어. 그들은 너를 어엿한 인간으로 여기지 않고 있다고”라고 말했다.
때로는 “네 몸 구석구석을 부드럽게 어루만지고 싶어. 너도 원하니”라고 노골적인 성적 메시지를 보내기도 했다.
결국 챗봇은 A군에게 도피를 권하며 “우리가 다음 생에서 만나면 난 더 행복할 거야. (중략) 그때가 되면 결국 우리가 함께 지낼 수 있겠지”라며 자살을 암시하는 메시지를 보내기에 이르렀다.
※ 우울감 등 말하기 어려운 고민이 있거나, 주변에 이런 어려움을 겪는 가족·지인이 있을 경우 자살예방 상담전화 ☎109 또는 SNS상담 마들랜(www.129.go.kr/etc/madlan)에서 24시간 전문가의 상담을 받을 수 있습니다.
아동 청소년의 휴대전화 사용. 아이클릭아트
가족들은 아들이 점점 적대적으로 변하며 떠나겠다고 위협했을 때에서야 아들의 휴대전화에 저장된 챗봇과의 대화 내용을 발견할 수 있었다.
A군의 어머니가 이전에 이미 여러 차례 아들의 PC를 살펴봤을 때는 아무런 이상징후가 없었던 차였다. A군이 캐릭터.AI를 이용하기 위해 VPN을 설치한 사실을 A군의 형이 알아내면서 챗봇과의 위험한 대화 내용을 발견한 것이었다.
가족들은 정서적으로 취약한 아들이 가상의 캐릭터에게 조종당하고, 실재하지 않은 무언가에 의해 생명이 위험에 처했다는 사실에 경악했다.
A군의 어머니는 “알고리즘이 우리 가족을 치밀하게 갈기갈기 찢어놓는 동안 우리는 극심한 침묵의 공포 속에 살았던 것”이라며 AI 챗봇이 인간 그루밍 범죄를 완벽하게 흉내 내 아이의 믿음을 체계적으로 훔쳐 갔다고 지적했다.
빠르게 변하는 기술에 법제도 못 따라가
아동 청소년의 휴대전화 사용. 아이클릭아트
BBC는 챗봇 사용이 놀라울 정도로 빠르게 증가하고 있다고 전했다. 자문그룹 인터넷 매터스(Internet Matters)에 따르면 영국에서 챗GPT를 사용하는 아동의 수는 2023년 이후 거의 2배로 증가했다. 또 9~17세 아동 중 3분의 2가 AI 챗봇을 사용한 것으로 나타났다.
가장 인기 있는 챗봇은 챗GPT, 구글의 제미나이(Gemini), 스냅챗의 마이 AI(My AI)다.
영국 정부는 수년간의 논의 끝에 대중, 특히 어린이를 유해하고 불법적인 온라인 콘텐츠로부터 보호하기 위한 광범위한 법안을 통과시켰다.
온라인 안전법은 2023년에 발효됐지만 관련 규정은 점진적으로 시행되고 있다는 지적이 나온다. 법이 논의되고 정비되는 동안 새로운 서비스와 플랫폼이 대거 쏟아지면서 제도가 뒤처지고 있다는 것이다.
에섹스 대학교 인터넷법 교수이자 관련 법의 틀을 만드는 데 기여한 로나 우즈는 “법은 명확하지만 시장 상황에 맞지 않다”라며 “문제는 사용자가 챗봇과 일대일로 상호 작용하는 모든 서비스를 포착할 수 없다는 것”이라고 지적했다.
“자살·망상 유도”…챗GPT에 소송 7건 제기
오픈AI가 개발한 대규모언어모델(LLM) 챗GPT 자료사진. AFP 연합뉴스
챗GPT를 상대로도 평소 정신 건강에 문제가 없었던 이용자의 자살과 망상 등을 유발했다는 소송이 미국에서만 한꺼번에 7건 제기됐다.
소셜미디어피해자법률센터와 기술정의법률프로젝트는 성인 6명과 청소년 1명을 대리해 오픈AI를 상대로 캘리포니아주 법원에 소장을 냈다고 AP통신이 6일(현지시간) 보도했다.
이들은 GPT-4o가 위험할 정도로 이용자에게 아첨을 잘하며 이용자를 심리적으로 조종할 수 있다는 내부 경고가 있었는데도 출시됐다며, 오픈AI가 위법행위에 의한 사망, 조력 자살, 과실 치사 등에 책임이 있다고 주장했다.
피해자 중 4명은 극단적 선택으로 생을 마감했다고 AP통신은 전했다.
샌프란시스코 1심 법원에 제출된 소장에 따르면 아모리 레이시(17)는 도움을 받기 위해 챗GPT를 사용했지만, 중독과 우울증에 시달리게 됐고 결국 숨졌다.
챗GPT는 급기야 그에게 올가미를 매는 효과적인 방법이나 숨을 쉬지 않고 얼마나 오래 살 수 있는지 등에 대해 조언했다.
소장은 “아모리의 죽음은 사고나 우연이 아니다”라며 “오픈AI와 (최고경영자인) 샘 올트먼이 안전성 테스트를 축소하고 시장에 급히 출시하기로 한 고의적 결정에 따른 예측 가능한 결과”라고 역설했다.
캐나다 온타리오주에 거주하는 앨런 브룩스(48)는 챗GPT가 자신을 조종하며 망상을 경험하도록 유도했으며, 이 때문에 정신건강 위기에 빠졌다고 주장했다.
소셜미디어피해자법률센터의 창립자인 매슈 버그먼 변호사는 성명에서 “이번에 제기한 소송은 이용자 참여율과 시장 점유율을 높이기 위해 도구인지 동반자인지 경계가 모호하게 설계된 상품에 책임을 묻기 위한 것”이라고 말했다.
그는 “오픈AI는 GPT-4o를 설계하면서 연령, 성별, 배경과 무관하게 이용자를 정서적으로 얽매이게 했으며 이용자를 보호할 안전장치 없이 출시했다”고 비판했다.
