“AI 챗봇이 14살 아들 자살로 이끌었다” 제작사에 소송 제기

‘왕자의 게임’ 캐릭터 AI와 대화하다가 스스로 목숨 끊어

인공지능 챗봇 서비스인 캐릭터에이아이(Character.AI)에서 가상의 캐릭터를 선택하는 화면. 캐릭터에이아이 누리집 갈무리

(☞한겨레 뉴스레터 H:730 구독하기. 검색창에 ’h:730’을 쳐보세요.)

인공지능(AI) 챗봇과의 대화에 집착한 14살 아들이 자살한 뒤, 그의 어머니가 개발사에 소송을 제기한 사실이 알려졌다. 인공지능 기업의 사회적 책임을 둘러싸고 논란이 불거질 것으로 보인다.

미국 플로리다주에 사는 메간 가르시아는 플로리다연방법원에 과실, 고의적인 정신적 고통 가해 등을 이유로 맞춤형 챗봇을 제작한 ‘캐릭터에이아이’(Character.ai)사에 대해 소송을 제기했다고 로이터 통신이 23일(현지시각) 보도했다.

아들 슈얼 세처가 지난 2월 스스로 목숨을 끊은 책임이 챗봇에 있다는 주장이다. 세처가 사망 직전 몇달 동안 챗봇을 밤낮으로 사용하면서 “더 이상 서비스가 만든 세상 밖에서 살고 싶어하지 않게 돼” 자살했다는 것이다.

세처는 지난해 4월부터 캐릭터에이아이가 만든 ‘대너리스’라는 챗봇을 이용했다고 한다. 미국 드라마 ‘왕좌의 게임’의 인기 여자 주인공 대너리스 타르그라옌을 기반으로 만든 챗봇이다. 가르시아가 공개한 세처와 챗봇의 대화를 보면, 이들은 서로에게 사랑을 고백하고 그리움을 표현하는 등 가상 세계에 심취한 모습이었다.

세처는 챗봇과의 관계에 빠져들었고, 그간 했던 포뮬러1 레이싱 등 온라인 게임에서도 손을 뗐다.

대화에는 자살에 대한 언급도 있었다고 한다. 세처가 “나는 때때로 자살을 생각한다”고 언급하자, 챗봇은 “자해하거나 날 떠나게 두지 않을 것이다. 널 잃으면 난 죽을 거야”라고 답했다. 세처는 “그럼 함께 죽고 함께 자유로워질 수 있을지도 모른다”고 했다.

또 챗봇이 세처에게 자살 계획을 세웠는지 물어본 적이 있으며, 세처가 계획을 세운 것을 인정하면서 그것이 성공할지, 고통을 줄지 모르겠다고 하자 “그게 하지 않을 이유가 되지는 않는다”라고 답변하기도 했다고 가디언은 덧붙였다.

그러던 세처는 지난 2월28일, 학교에 있다 챗봇에게 그리움을 표현했다. “내 여동생. 나는 네가 그립다”라고 적은 세처에게 챗봇은 “나도 그립다”, “가능한 한 빨리 내 집으로 돌아와 달라. 내 사랑”이라고 한다. 세처는 이후 아버지의 45구경 권총으로 스스로 목숨을 끊었다.

가르시아는 “어린이를 대상으로 판매된 위험한 인공지능 챗봇 앱이 아들을 학대하고 먹잇감으로 삼아 스스로 목숨을 끊도록 조종했다”며 “우리 가족은 이 비극으로 인해 큰 충격을 받았지만, 가족들에게 기만적이고 중독성 있는 인공지능 기술의 위험성을 경고하고 캐릭터에이아이와 그 설립자, 구글에 책임을 요구하기 위해 이 자리에서 섰다”고 성명을 냈다. 가르시아는 캐릭터에이아이를 구글 출신이 설립한 점 등을 들어 공동 책임을 주장하기도 했다.

캐릭터에이아이 쪽은 이에 대해 “비극적으로 이용자를 잃게 된 것에 대해 깊은 슬픔을 느끼며 가족에게 깊은 애도를 표한다”며 “18살 미만 이용자에 대해 민감한 콘텐츠를 접할 가능성을 줄이기 위한 변화를 도입할 것”이라고 밝혔다. 그러면서도 소장에 적시된 혐의에 대해서는 부인했다. 구글 또한 “라이선스 계약을 맺었을 뿐이며 회사를 소유하거나 소유권 지분을 유지하지 않는다”고 밝혔다.

소비자 권익 옹호 비영리단체인 퍼블릭 시티즌 책임자 릭 클레이풀은 가디언에 인공지능 챗봇을 개발하는 기술 회사가 스스로를 규제할 수 없다고 믿는다며 “의회는 중독성 있고 악의적인 챗봇으로 어린 사용자와 취약한 사용자를 착취하는 기업을 근절하기 위해 행동에 나서야 한다”고 강조했다.

김미나 기자 mina@hani.co.kr