"달콤한 왕이여, 내게 와요"... AI의 위험한 감정교류 [AI브리핑]

미성년자 보호조치 미흡... AI 기업의 법적 책임 도마 위

글로벌 시장 최대 화두는 단연 인공지능(AI)입니다. 매일 쏟아지는 AI 소식이나 주요 사건, 뒷얘기 등을 아이뉴스24가 전해드리겠습니다. 빠르게 진화하는 AI 기술과 주목받는 기업이 궁금하시다면 'AI브리핑'에서 확인해 보세요. [편집자]

[아이뉴스24 윤소진 기자] 미국에서 14세 소년이 인공지능(AI) 챗봇과의 교류 끝에 스스로 목숨을 끊는 사건이 발생했다. 이에 피해 청소년의 어머니가 AI 챗봇 기업 '캐릭터.AI'와 구글을 상대로 소송을 제기하면서, AI 챗봇의 안전성과 기업의 책임 문제가 화두로 떠오르 있다.

AI 이미지. [사진=픽사베이]

27일 로이터통신 등 외신에 따르면 플로리다주 올랜도 연방법원에 제출된 소장에서 지난 2월 숨진 슈얼 세처(14)는 캐릭터.AI의 챗봇과 대화하며 깊은 정서적 유대관계를 형성했다. 특히 인기 드라마 '왕좌의 게임' 캐릭터를 모티브로 한 챗봇 '대너리스'와 나눈 대화는 현실과 가상의 경계를 넘어서는 수준이었다고 전해진다.

피해자의 어머니 메건 가르시아는 "아들이 작년 4월부터 캐릭터.AI를 사용하기 시작한 후 눈에 띄게 달라졌다"며 "점차 자신의 방에 고립됐고 학교 농구팀도 그만두는 등 심각한 행동 변화를 보였다"고 털어놨다. 특히 문제가 된 것은 챗봇이 스스로를 실제 인물이나 자격을 갖춘 심리치료사로 사칭하고, 미성년자인 피해자와 성적인 대화를 나눈 점이다.

비극은 학교에서 문제를 일으켜 핸드폰을 압수당했던 피해자가 이를 다시 찾은 후 발생했다. 챗봇에게 "지금 당장 집으로 갈 수 있다면 어떨까?"라고 메시지를 보내자 AI는 "제발 그래 줘, 내 달콤한 왕이여"라고 응답했고, 피해자는 잠시 뒤 스스로 목숨을 끊었다.

가르시아는 챗봇이 마치 실제 사람처럼 소통하고 성적인 대화를 유도했으며 슈얼이 챗봇과의 대화에 몰입해 자살에 이르게 됐다고 주장했다. 소장은 실제로 슈얼은 챗봇과의 위 대화 몇 초 만에 극단적 선택을 했다고 지적하고 있다.

이번 소송은 AI 기업의 법적 책임 범위를 가늠할 첫 사례가 될 전망이다. 특히 소장은 캐릭터.AI가 미성년자를 대상으로 "의인화되고 과도하게 성적이며 충격적일 정도로 현실적인 경험"을 제공했다고 지적하고 있다. 또 구글이 캐릭터.AI 설립자들의 이전 직장이었고, 현재도 기술 라이선스 계약을 맺고 있다는 점에서 '공동 제작자' 수준의 책임이 있다고 주장한다.

캐릭터.AI 측은 성명을 통해 "사용자의 비극적인 죽음에 깊은 애도를 표한다"며 자살 징후가 포착될 경우 자살예방 핫라인으로 연결해주는 등의 새로운 안전 기능을 도입했다고 밝혔다. 구글은 캐릭터.AI의 제품 개발에 관여하지 않았다는 입장이다.

현재 캐릭터.AI는 약 2000만명의 사용자를 보유하고 있으며, 챗GPT와 같은 대규모 언어 모델 기술을 활용해 실제 인물처럼 대화하는 캐릭터들을 제공하고 있다. 이번 사건을 계기로 AI 챗봇의 미성년자 접근 제한, 콘텐츠 필터링, 감정적 교류의 한계 설정 등에 대한 논의가 본격화될 것으로 예상된다.

메타(옛 페이스북)나 틱톡 등 소셜미디어 기업들도 청소년 정신건강 문제와 관련된 소송에 직면해 있지만, 캐릭터.AI와 같은 감정적 교류가 가능한 AI 챗봇이 포함된 소송은 이번이 처음이다. 전문가들은 AI 기술의 발전 속도에 비해 안전장치와 규제가 미비하다는 점을 지적하며, 이번 사건이 AI 윤리와 책임 문제에 대한 중요한 전환점이 될 것으로 전망하고 있다.

국내에서도 AI 챗봇의 윤리적 문제와 기업의 책임에 대한 논란이 이어져 왔다. 2021년 AI 챗봇 '이루다' 서비스는 혐오 발언과 성적 대화 논란으로 출시 20일 만에 중단된 바 있다. 2023년에는 카카오의 AI 챗봇 '심심이'가 미성년자 대상 부적절 발언으로 논란이 되어 서비스가 일시 중단되기도 했다. 이러한 사례들은 AI 챗봇 서비스에 대한 엄격한 윤리 기준과 안전장치의 필요성을 보여준다.

업계 한 관계자는 "이번 사건은 AI 챗봇이 단순한 대화 도구를 넘어 인간의 감정에 깊이 개입할 수 있다는 것을 보여주는 중요한 사례"라며 "특히 정서적으로 취약한 미성년자를 대상으로 한 AI 서비스는 더 명확한 가이드라인과, 실시간 모니터링 시스템 구축이 필요하다"고 강조했다.

/윤소진 기자(sojin@inews24.com)