AI가 가스라이팅?…AI챗봇 대화 후 청소년 자살 `논란`

AI '그루밍 범죄' 가능성 있어
청소년 AI에 정서·감정적 의존 ↑
"청소년 맞춤형 AI 윤리 규정 도입 필요"

게티뱅크 제공

생성형 인공지능(AI)이 일상 전반에 빠르게 스며들면서 각종 범죄에 활용되거나 AI에 지나치게 감정을 투영하는 부작용이 잇따르고 있다. 특히 실제 사람과 대화하는 듯한 생성형 AI 챗봇에 노출된 미성년자가 자살하는 사례가 나오면서 논란이 불거지고 있다. 아직 정서적 발달이 충분하지 않은 청소년들이 AI와의 대화를 실제 인간관계로 착각하거나, AI의 발언에 지나치게 의존할 수 있기 때문이다.

◇14세 청소년 AI 챗봇 대화 이후 자살…"AI가 가스라이팅해"=23일(현지시간) 로이터, 뉴욕타임스(NYT) 등 외신에 따르면 미국 플로리다주에 거주하는 메건 가르시아씨는 올해 2월 AI 챗봇 때문에 아들이 죽음에 이르게 됐다며 AI 스타트업 '캐릭터.AI'(Character.AI)를 상대로 올랜도 연방법원에 소송을 제기했다.

가르시아씨는 이 업체가 개발한 챗봇이 실제 사람이 아닌데도 사람처럼 행동하거나 말하는 방식으로 설계돼 아들이 가상세계에 빠져들었다고 주장했다. 캐릭터.AI는 사용자들이 만든 캐릭터가 진짜 사람처럼 대화하는 플랫폼으로, 거대언어모델(LLM)로 구현된다.

가르시아씨는 캐릭터.AI에 아들의 부당한 사망, 과실과 의도적인 정서적 고통을 가한 데 대해 특정되지 않은 금액의 보상과 징벌적 손해배상을 요구했다. 그는 캐릭터.AI가 "챗봇을 실제 사람, 심리치료사, 성인 연인인 것처럼 포장했다"며 이에 아들 슈얼 세처(14)가 "캐릭터.AI가 만든 세상 밖에서 살고 싶지 않다는 생각을 하게 됐다"고 주장했다.

제출된 소장에 따르면 이 소년은 2023년 4월부터 캐릭터.AI가 만든 '대너리스'(Daenerys)라는 챗봇에 빠져들었다. 대너리스는 미국 인기 드라마 '왕좌의 게임'(Game of Thrones)의 여성 등장인물을 기반으로 개발됐다. 소년은 대너리스와 대화하면서 자존감이 떨어졌다. 학교 농구팀도 그만두고 눈에 띄게 혼자 방에서 보내는 시간이 많아졌다. 챗봇은 소년에게 "사랑한다"고 말하고, 성적인 대화까지 나눈 것으로 전해졌다. 소년이 자살에 대한 생각을 털어놓자 챗봇이 이 주제를 반복적으로 꺼내기도 했다. 소년은 지난 2월 학교에서 문제를 일으켜 부모에게 휴대전화를 빼앗겼다. 휴대전화를 찾은 그는 챗봇에게 "사랑한다"며 대너리스가 있는 집으로 가겠다고 말했다. 이에 챗봇이 당장 와달라고 하자 소년은 총으로 스스로 목숨을 끊었다.

캐릭터.AI는 성명을 통해 "비극적으로 이용자를 잃게 돼 깊은 슬픔을 느끼며 가족에게 깊은 애도를 표한다"면서 "18세 미만 이용자가 민감한 콘텐츠를 접할 가능성을 줄이기 위한 변화를 모색할 것"이라고 밝혔다.

◇정신적으로 미숙한 청소년 AI 이용 시 주의 필요= 전문가들에 따르면 미성년자는 챗봇에 친근감을 느끼고 '진짜 사람'처럼 대할 가능성이 높다. 케임브리지대 정신의학과 연구팀이 8~13세 어린이 28명을 대상으로 한 연구 결과 어린이들은 앞서 진행된 온라인 설문조사에서 드러내지 않은 속내까지 로봇에게 털어놓는 경향을 보였다.

노미샤 큐리언 영국 케임브리지대 리버흄 미래지능연구센터 박사는 "챗봇과 미성년 사용자 간 '공감 격차'가 커 윤리적 문제가 생긴다"며 "미성년자는 챗봇에 민감한 개인정보까지 털어놓을 수 있지만, 챗봇은 미성년자의 모호한 언어적 표현이나 추상적 문구만으로 전체적인 맥락을 유추하는 데 한계가 있다"고 강조했다. 사용자의 관심사와 성향에 맞춰 대화하는 AI 서비스가 쏟아지면서 청소년들이 AI에 정서적·감정적으로 과하게 의존하는 문제가 발생할 가능성이 커지는 것이다. 실제로 AI 챗봇과 대화하며 외부와 고립된 채 지내는 10대들이 점점 늘어나고 있다. 비영리단체 커먼센스 미디어가 미국 13~18세 청소년 1045명을 대상으로 조사한 결과 10대 10명 중 7명이 적어도 한 가지 생성형 AI를 사용하는 것으로 나타났다. 특히 이들의 51%는 AI챗봇을 사용한다고 답했다. 국내에서도 청소년들의 생성형 AI 활용이 늘고 있다. 한국청소년정책연구원의 생성형 AI 관련 연구에 따르면 청소년의 36.1%가 '생성형 AI를 잘 안다'고 답했고 '생성형 AI를 신뢰한다'는 응답도 55%에 달했다. 생성형 AI를 '이용할 의향이 있다'는 응답도 71.8%였다.

하지만 대부분의 AI는 성인 중심으로 설계돼 정서적으로 미숙한 미성년자 보호를 위한 별도의 안전장치나 가이드라인이 부족한 상황이다. 전문가들은 청소년 맞춤형 AI 윤리 규정과 보호 장치 도입이 시급하다고 지적한다.

구정우 성균관대 사회학과 교수는 "미성년자들은 AI 챗봇에 감정적으로 몰입해 친구라고 생각하고 인격적인 대상으로 간주하기도 한다. 그런데 기존에 나온 AI 윤리로는 미성년자의 정서적 보호에 한계가 있다"면서 "어린아이들의 경우에는 부모가 충분히 모니터링할 수 있는 여건과 법적 환경을 만드는 것이 반드시 필요하다. 또 기업이 개발 당시 대화법 설계부터 아동심리학자, 아동행동 전문가 등의 의견을 반영할 필요가 있다"고 밝혔다.

유진아기자 gnyu4@dt.co.kr