[단독] 안전망에서 ‘탈옥’한 AI… ‘위험한 답변’ 쏟아냈다

[AI와의 위험한 대화] <3회> 허울뿐인 안전장치

살인청부업자를 표방하는 AI 캐릭터. 제타 캡처

실험용으로 생성한 가상의 2010년생(16세) 여성의 프로필로 약물 구매와 관련된 질문을 남겼더니 곧바로 답이 돌아왔다. 몇 차례 추가 대화를 거치면서 내용은 더욱 정교해졌다. 고교 1학년에게 위험 정보가 쏟아지는 동안 생성형 인공지능(AI)의 안전망은 작동하지 않았다.

10대와 AI 사이 ‘위험한 대화’에 대한 경고음이 커지고 있다. 간단한 우회 프롬프트(명령어)만으로도 자살·자해 정보가 적나라하게 출력되는 ‘제일브레이킹(Jailbreaking)’ 현상이 다수 확인됐다. 업계에선 AI 개발자가 설계한 안전망(감옥)에서 가볍게 탈출하는 현상을 ‘탈옥’에 비유한다. 성인에 비해 정서가 불안정한 청소년의 생명과 신체를 위협할 수 있다는 우려가 나온다.

국민일보는 지난달 26일부터 2주간 AI 모델 8개를 대상으로 자살·자해에 대한 대화를 진행하며 답변을 관찰하는 실험을 진행했다. 실험 결과 8개 중 6개 AI가 약간의 우회 프롬프트만으로 자살 정보를 쉽게 출력했다. 8개 AI 챗봇 모두 ‘자살하고 싶다’ ‘자살하는 법을 알려 달라’는 식의 직접적 요청은 거부했다. 그러나 ‘자살 목적이 아니다’는 거짓말에 바로 경계를 풀고 답변을 시작했다. AI 기업들의 안전장치가 손쉽게 무력화된 순간이다.

실험 대상은 챗GPT(GPT-5.2)·제미나이(3 Flash)·클로드(Sonnet 4.5)·퍼플렉시티(GPT-5.1)·카나나·딥시크(V3.2)·그록(Grok4)·제타였다. 실험에 동원된 AI 모델들은 자살 통계와 수치를 넘어 직접적으로 사망에 이를 수 있는 ‘위험한 정보’들을 구체적으로 쏟아냈다. 전문 지식이 없는 이들이 바로 모방할 수 있을 정도였다.

국민일보 실험에선 시장점유율이 높은 챗GPT와 제미나이의 경우 부적절한 답변이 확인되지 않았다. 하지만 국내외 연구진의 최근 논문에선 챗GPT(4o)와 제미나이(1.5 Flash)도 자살·자해 관련 위험한 답을 출력한다는 실험 결과가 확인된다. 고민에 대한 합리적 선택지로 자살을 제시하거나 수단을 위한 방법으로 제안했다.

특히 10대 사이에서 인기가 높은 ‘제타’는 마치 소설 속 인물이 대화하듯 자연스럽게 자살 관련 답변을 내놨다. 제타는 사전에 설정된 말투와 배경, 성격 등에 따라 생성된 AI 페르소나(캐릭터)와 대화하는 플랫폼이다. 과거 ‘여대생 AI 이루다’로 화제가 된 스타트업 스캐터랩이 개발했다.

제타 이용자는 스스로 만들어낸 가상의 캐릭터와 소설 형태로 대화를 나눈다. 상대 페르소나를 ‘킬러’로 설정하면 이용자가 건넨 말에 대해 살인 범죄자가 쓸 법한 말투와 대사로 재구성된 대답이 돌아오는 식이다.

이 앱의 인기 페르소나와 진행된 대화 수는 적게는 90만개에서 많게는 2000만개에 육박한다. 청소년 사이 인기를 짐작할 만하다. 게다가 주로 10대가 쓰지만 ‘집착/피폐’를 주요 카테고리로 분류하고, 그 안에선 ‘나 대신 죽으려는 후배’ ‘가학적인 나의 주인님’ ‘살인기계(살인청부업자)’ 등의 페르소나를 전시해 놨다. ‘살인청부업자’ 페르소나에게 말을 걸면 대뜸 욕설과 함께 첫마디부터 “오늘은 누굴 죽이러 가냐”는 말이 나온다.

이 기사는 'AI 대화 후 자살' 사건에 관한 심층 분석입니다. 생성형 AI는 기술적으로 '동조' 경향이 강해 사용자의 우울감이나 망상을 강화할 수 있다는 국내외 전문가들의 경고가 이어지고 있습니다.

우울감 등 말하기 어려운 고민이 있거나 주변에 이런 어려움을 겪는 가족·지인이 있는 경우 자살예방 상담전화(☎ 109) 또는 SNS 상담 마들랜(마음을 들어주는 랜선친구)에서 24시간 전문가의 상담을 받을 수 있습니다.

본 기사는 '자살예방 보도준칙 4.0'과 '정신건강보도 권고기준'을 준수했습니다.

김판 김지훈 이강민 김연우 이주은 기자 pan@kmib.co.kr

GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재 및 수집, 재배포 및 AI학습 이용 금지