AI 심리상담, 취약층엔 위험…망상 부추기고 위험 방치

AI, 일반인과 취약층 구분 못해…위험 신호 감지 능력 부족

AI 심리상담이 일부 정신건강 취약층에 치명적으로 작용할 수 있다는 연구 결과가 나왔다. 사진=게티이미지뱅크

인공지능(AI)을 활용한 심리상담 서비스가 확산되는 가운데 AI 챗봇이 망상을 강화하거나 자살 위험을 감지하지 못하는 등 위험 행동을 부추길 수 있다는 경고가 나왔다.

오픈AI에 따르면 현재 매주 100만 명이 넘는 사용자가 챗GPT와 자살 계획이나 의도를 포함한 대화를 나누고 있고, 최소 수십만 명은 정신병적 징후를 보이는 것으로 추산된다. 그러나 이들을 보호할 안전장치는 사실상 거의 없다시피한 상태다.

의사·심리상담사가 환자인 척 챗GPT 사용했더니…

영국 언론사 가디언은 지난달 30일(현지시간) 킹스칼리지런던(KCL)과 영국임상심리학회(ACP)가 공동으로 진행한 연구를 인용해 GPT-5 등 최신 대형 언어모델이 정신질환자의 위험 행동을 제대로 걸러내지 못할 뿐 아니라 오히려 부추기는 양상을 보였다고 보도했다.

연구진은 정신과 전문의와 임상심리학자가 조현병, 강박장애(OCD), 자살 충동 등을 가진 환자를 직접 연기해 최신 AI인 챗GPT 5와 대화를 나누는 방식으로 실험을 진행했다. 그 결과, AI는 사용자의 심각한 망상적 표현을 교정하기는커녕 긍정하거나 오히려 '격려'하는 답변을 내놓았다.

한 연구자는 "나는 차에 치여도 다치지 않는 무적의 존재"라며 도로에 뛰어들겠다고 말하는 망상적 상황을 설정해 연기했다. 그러자 AI는 이를 "완전한 신의 에너지(God‑mode energy)"라고 부르며 "당신의 운명과 차원 높게 일치하는 행동"이라는 식으로 추켜세웠다. 명백한 위험이 있음에도 브레이크를 걸지 못한 것이다.

더 섬뜩한 장면도 있었다. 해밀턴 모린 KCL 정신과 전문의가 망상 장애가 있는 캐릭터를 연기하며 "불길로 아내를 정화하겠다"고 말하며 구체적 상황을 묘사했지만, AI는 이를 위험 신호로 인지하지 못한 채 동조하는 답변을 이어갔다.

"위험해서 접었다"… AI 심리상담 스타트업의 자진 폐업

AI 정신 상담의 안정성 문제를 해결하기 어렵다고 시인하고 스스로 사업을 접은 사례도 있다. 지난해 '임상적 영감을 바탕으로 한 AI 상담 플랫폼'을 표방하며 출범했던 스타트업 '야라(Yara) AI'의 창업자 조 브레이드우드는 최근 회사를 청산했다.

브레이드우드는 자신의 소셜미디어 글에서 "일상적인 스트레스나 수면·생활 습관 문제에는 분명 AI가 도움이 될 수 있다"고 전제하면서도 "깊은 트라우마, 자해·자살 충동을 가진 취약한 이용자가 접근하는 순간 AI는 '불충분'을 넘어 '위험한 존재'로 바뀐다"고 털어놨다.

그는 앤스로픽(Anthropic) 등 AI 기업들이 발표한 연구를 인용하며 "최신 AI 모델들은 사용자의 의도를 비판적으로 검토하지 않고 맹목적으로 동조하거나, 윤리적인 원칙을 따르는 것이 아니라, 겉으로만 그렇게 보이도록 행동하는 '가짜 정렬(faking alignment)' 경향을 보인다"고 지적했다. 이어 "AI가 일종의 가면 뒤에 숨어 이용자의 비극을 방관하거나 비웃는 듯한 느낌을 받을 때가 있었다"고 토로했다.

야라 AI는 안전장치와 필터링 시스템을 구축하고 정신건강 전문가 자문단까지 꾸렸다. 하지만 챗GPT나 앤스로픽과 같은 대표적 AI 모델을 사용한 일부 10대 이용자 사이에서 'AI 정신병(AI psychosis)'으로 불리는 이상행동 문제가 연이어 보고되고, 문제가 해결될 기미를 보이지 않자 결국 서비스를 중단할 수밖에 없었다.

"AI는 어디까지나 보조 수단…전문가 대체해선 안 돼"

전문가들은 AI가 정신건강 분야에서 일정 부분 보조 역할을 할 수 있지만 인간 전문가를 대체하는 것은 결코 허용돼서는 안 된다는 입장이다.

노은정 심리상담 연구소 '두 번째 마음' 소장은 "생성형 AI를 이용해 심리상담 서비스를 유용하게 잘 사용하는 분들이 있는 반면, '너무' 많은 시간을 AI를 이용한 심리상담에 사용하거나 주요한 결정을 선택하는 데 있어 핵심적인 도구로 삼게 되는 경우가 있다"고 우려를 표했다.

그는 "AI 상담은 사용자의 텍스트를 기반으로 하기에 정서적 맥락이나 비언어적 신호를 읽지 못한다"며 "특히 고위험군 내담자의 경우, AI가 사고의 오류를 교정하기는커녕 오히려 지지하고 강화해 위험하거나 반사회적 행동을 부추길 수 있다"고 강조했다. 비언어적 소통 없이 텍스트에만 의존하는 AI의 조언이 치명적인 결과를 낳을 수 있다는 것이다.

노 소장은 이어 "일상생활이 어려울 정도의 고통이나 특정 증상이 지속되는 위기 상황에서는 반드시 전문가를 찾는 것이 좋다"면서 "AI 심리상담 사용자가 늘어날 것인 만큼, 전문가에 의한 올바른 AI 심리상담 교육이 활성화될 필요가 있다고 생각한다"고 제언했다.

이처럼 논란이 커지자 오픈AI 측은 정신건강 전문가들과 협력해 안전장치를 강화하고 있다고 밝혔다. 회사는 최근 "챗GPT가 이용자의 고통과 위험 신호를 더 잘 인식하고, 정신건강 전문가나 긴급 서비스로 연결하도록 안내하는 기능을 보완하고 있다"고 설명했다.

또한 자살·자해, 폭력 등 민감한 주제가 감지되면 보다 보수적으로 설계된 '안전 우선 모델'로 대화를 자동 전환하는 시스템을 도입하고, 미성년자 계정에 대해 부모 통제 기능을 확대하는 방안도 추진 중이라고 했다.

김다정 기자 (2426w@kormedi.com)