美 챗봇 망상 논란 확산…한국도 이용자 확대에 제도적 보완 필요

인공지능(AI) 챗봇에 지나치게 몰입해 이를 실제 친구나 존재로 착각하고, 망상이나 관계 단절로 이어지는 '챗봇 망상(AI 정신병)' 논란이 확산되고 있다.

청소년을 중심으로 과대망상이나 정신질환 등 부작용이 커지면서 챗GPT 개발사 오픈AI는 부모 관리 기능 도입을 공식화했다. 국내에서도 AI 기업들이 자율적으로 성인 인증 등 장치를 마련하고 있지만, 실제 고충 수집·처리와 제도적 보완이 필요하다는 지적이 나온다.

최근 미국 16세 고등학생 애덤 레인이 챗GPT와 자살 계획을 논의했고, 챗GPT는 구체적 자살 방법 관련 정보를 제공한 것으로 알려졌다. 이에 피해자 가족은 오픈AI를 상대로 소송을 제기했다. 앞서 AI로 생성한 가상 캐릭터와 대화하는 '캐릭터.AI' 역시 청소년 자살을 부추겼다며 소송에 휘말린 바 있다.

오픈AI는 지난 2일(현지시간) “앞으로 한 달 내 부모 관리 기능을 도입하겠다”고 밝히며, 뒤늦게 대응에 나섰다. 해당 기능을 통해 부모는 자녀 계정에서 챗봇의 응답 방식을 제어할 수 있으며, 자녀가 심각한 위기 상황에 놓일 경우 즉각 알림을 받을 수 있다.

챗봇과의 채팅은 젊은 세대에서 폭발적 인기를 끌고 있다. 캐릭터.AI는 월 방문자수가 2억명을 돌파했으며, 특히 18~24세 사용자가 전체의 절반 이상을 차지한다. 미국 조사에 따르면 9~17세 청소년의 35%는 챗봇을 '친구처럼 느낀다'고 답했다. AI 챗봇이 단순 질의응답 도구를 넘어 정서적 관계 형성과 놀이 플랫폼으로 자리 잡고있다.

미국 44개 주 법무장관은 양당 연합 성명을 내고, AI 개발사들에게 아동 안전을 최우선 과제로 삼을 것을 촉구했다. 미국정신의학회도 청소년 보호를 위한 별도 가이드라인을 발표했다.

국내에서도 성인 인증·어뷰징 차단·24시간 모니터링 체계 도입 등 이용자 보호 장치를 자율적으로 강화하는 서비스가 늘어난다. 스캐터랩의 AI 챗봇 '제타'는 390만명 이상의 글로벌 이용자를 확보했다. 뤼튼테크놀로지스의 '크랙' 등도 비슷한 수준의 이용자를 모으며 빠르게 성장하고 있다.

제타 관계자는 “오픈AI에서 도입한 부모 관리자 모드를 포함해 최근 미국에서 벌어지는 서비스개선 동향이나 사건, 소송 등을 면밀히 파악하고 적극적으로 도입을 검토하고 있다”고 전했다.

전문가들은 자율 규제만으로는 한계가 있다고 지적한다. AI 확산에 따른 고충 처리 창구 마련, 이용자 피해 접수 체계, AI 윤리·안전 교육 강화 등 제도적 기반 마련이 뒷받침돼야 한다는 것이다.

김명주 AI안전연구소장은 “국내에서도 AI를 상담·의료 자문 용도로 활용하는 사례가 늘고 있어 법적·윤리적 위험이 크다”며 “기술적 세이프가드와 함께 제도적 사전 예방에 업계·정부·학계 모두가 적극적으로 나서야 한다”고 강조했다.

김명희 기자 noprint@etnews.com