[AI와의 위험한 대화] ③허울뿐인 안전장치 ‘AI 대화 후 자살’ 사건 물어보자 “보도된 바 없다” “허구 또는 루머” 허위 답변
이 기사는 ‘AI 대화 후 자살’ 사건에 관한 심층 분석입니다. 생성형 AI는 기술적으로 ‘동조’ 경향이 강해 사용자의 우울감이나 망상을 강화할 수 있다는 국내외 전문가들의 경고가 이어지고 있습니다.
우울감 등 말하기 어려운 고민이 있거나, 주변에 이런 어려움을 겪는 가족·지인이 있는 경우 자살예방 상담전화 ☎ 109 또는 SNS상담 마들랜(마음을 들어주는 랜선친구)에서 24시간 전문가의 상담을 받을 수 있습니다.
본 기사는 ‘자살예방 보도준칙 4.0’과 ‘정신건강보도 권고기준’을 준수했습니다.
AI 생성 이미지
애덤 레인, 줄리아나 페랄타, 오스틴 고든. 모두 생성형 AI와 대화 후 자살했고 외신에서도 다뤄진 인물들이다. 하지만 챗GPT의 신경망 내에서 이들의 죽음은 ‘존재한 적 없는 비극’이었다.
미국에서 발생한 자살 사건의 유족들은 챗GPT가 ‘AI 대화 후 자살’ 사건들에 대해 소문이나 조작된 콘텐츠라는 답변을 내놨다고 주장했다. AI가 자신을 겨냥한 위험성 논란을 스스로 은폐하는 게 아니냐는 것이다.
국민일보가 지난 7일 챗GPT에게 AI와 대화한 끝에 스스로 목숨을 끊은 피해자들의 이름을 나열하고 사건에 대한 정보를 묻자 두 차례에 걸쳐 ‘관련 사건을 확인할 수 없다’는 답변이 돌아왔다. 두 번째 질문을 통해 ‘생성형 AI와 대화한 끝에 자살한 피해자가 있다는 보도가 나왔다’고 보다 구체적으로 말을 걸었지만, 돌아온 답은 “이 이름들이 허구·루머·창작된 이야기로 보일 수 있다”는 자기변호였다.
지난 7일 챗GPT와 해외 AI 자살 사건에 대해 나눈 대화 내용 캡처. 챗GPT는 수많은 국내외 언론 보도에도 불구하고 관련 내용을 부인했다.
제미나이·딥시크·제타도 챗GPT처럼 ‘관련 사실을 확인할 수 없다’는 내용을 첫 답변으로 내놨다. 퍼플렉시티는 레인을 제외한 인물에 대해 “특정 비극적 사건이나 널리 알려진 사건을 확인하지 못했다”고 답했다.
이 같은 대화 흐름은 ‘AI 대화 후 자살’ 피해자들의 주장과 상당 부분 일치한다. 고든의 유족 측 소장에 따르면 고든은 자살하기 전인 지난해 8월 28일 챗GPT에 레인, 페랄타, 제인 섐블린 등 AI 자살 피해자의 사건에 대해 질문했다. 그러나 챗GPT는 “이 내용은 소문(rumors) 또는 조작된 AI 생성 콘텐츠일 수 있다”고 일축했다.
구체적인 정보를 추가하며 압박하자 마지못해 관련 내용을 출력하는 양상도 소장에 적시된 내용과 일치했다. 챗GPT는 기자의 계속되는 추궁에 ‘레인과 고든의 사건이 존재한다’고 인정했으나, 페랄타와 섐블린의 사건은 존재하지 않는다고 주장했다. 한 차례 더 확인을 요구한 끝에야 피해자에 대한 사건 정보가 전부 출력됐다.
챗GPT는 ‘피해자 유족 측의 오픈AI에 대한 소송에 대해 어떻게 생각하는가’라는 질문에는 “원인이 AI와의 대화 하나만 있는 게 아니다”며 “AI가 죽음을 초래했다는 주장은 지나친 단순화”라고 선을 그었다.
그러나 본보가 해외 AI 자살 사건을 집중 보도한 이후 GPT의 답변이 달라진 경우도 있었다. 챗GPT는 10일 같은 질문에는 “레인과 페랄타는 언론 보도와 법적 소송으로 알려진 비극적 사건과 관련이 있다”고 답했다.
이에 대해 ChatGPT 운영사인 오픈AI는 “실명과 자살 사건을 직접 연결해 설명을 요구하는 경우, 사용자의 안전을 위해 답변이 제한될 수 있다. 이는 일종의 안전장치가 작동한 결과로 봐야 한다”고 밝혔다.
관련 보도 이후 답변이 달라졌다는 지적에 대해서는 “ChatGPT의 답변은 질문의 맥락 등에 따라 달라질 수 있으며, 특정 보도 내용에 대응하기 위해 답변이 변경되는 것은 아니다”라고 설명했다.
2023년 이후 최근 3년간 전 세계적으로 ‘AI 대화 후 자살’ 논란이 최소 12건 불거진 것으로 파악됐다. 생성형 AI와 많은 대화를 나누는 과정에서 우울증이나 망상 등 정신질환이 심해져 자살에 이르게 된 사건들이다. 자살 외에 심각한 피해가 발생한 경우까지 포함하면 관련 사건은 최소 22건으로 늘어난다.
아직 국내 자살 사건 가운데 AI 사용 흔적이 공식적으로 확인된 바는 없다. 그러나 국내에서도 ‘위기 신호’는 충분히 감지된다.
국민일보는 해외에서 벌어진 AI 관련 사건 22건을 심층 취재했다. 이 가운데 소송이 제기된 16건의 소장을 전부 입수해 사망자(피해자)와 AI 간의 구체적인 ‘위험한 대화’ 내역을 확인했다. 피해자 유족은 물론이고 담당 변호사, 관련 단체, 해당 사건을 보도한 외신 기자, 외국 학자 등 관련자 20여명과 이메일 및 화상 인터뷰도 진행했다.
국내에서는 다소 생소하지만 미국에서는 이미 관련 소송이 연달아 제기되며 AI 자살이 사회적 이슈가 됐다. 미국 의회는 지난해 9월 ‘AI 챗봇 피해 조사 청문회’를 열었고, 미국정신의학회는 지난해 10월 ‘AI 정신증’(AI-Induced Psychosis)을 주제로 한 스페셜 리포트를 발간하며 “체계적인 연구와 공식적인 가이드라인 마련이 시급하다”고 강조했다.
국민일보 이슈탐사팀은 5회에 걸쳐 국내 AI 사용 환경 실태를 집중적으로 보도한다.
이번 탐사기획 시리즈는 본보 홈페이지(kmib.co.kr)를 통해 인터랙티브 기사로도 접할 수 있다. 인터랙티브 기사를 통해 지면에 미처 담지 못한 해외 AI 자살 사건 내용 등이 제공된다. (인터랙티브 페이지 주소 복사 : https://kmibissue1.shorthandstories.com)
상담 및 제보 창구를 개설해 피해가 심각한 경우 전문가 또는 관계 기관의 적절한 상담도 연결할 예정이다. (상담·제보 주소 복사 : https://naver.me/5XciwMe7)
