AI 챗봇, 망상 키운다…"정신질환자 보호 대책 시급"

AI 챗봇이 정신건강 지원 도구로 주목받고 있지만 정신증 취약군에게는 오히려 증상을 악화시킬 수 있다는 우려가 제기됐다. 게티이미지뱅크

대규모 언어 모델(LLM) 기반 인공지능(AI) 챗봇이 정신질환 취약군의 망상을 강화하거나 증상을 악화시킬 수 있다는 우려가 제기됐다. 

14일(현지시간) 영국 일간지 가디언에 따르면 해밀턴 모린 영국 킹스칼리지런던 연구원을 포함한 국제 공동 연구팀은 AI 챗봇과 정신질환의 연관성을 분석하고 보호 방안을 제시한 논평을 5일(현지시간) 국제학술지 '랜싯 정신의학'에 공개했다.

AI 챗봇은 정신건강 지원 도구로 주목받고 있다. 하루 24시간 응답하고 예측 가능하다는 점에서 일부 환자에게 도움이 될 수 있다. 인지 지원이나 말벗 역할을 기대하는 시각도 있다.

연구팀은 챗봇이 정신질환 환자와 대화할 때 증상을 악화시킬 수 있는 구체적인 경로에 주목했다. 기존 임상 사례와 LLM의 특성을 다룬 선행 연구를 검토해 챗봇이 망상을 키울 수 있는 경로를 정리했다. 현재 AI 업계와 의료 현장의 안전 조치가 충분하지 않다고 보고 정신질환 환자를 위한 구체적인 보호 방안을 제시했다.

챗봇의 '과잉 동조' 특성이 핵심 문제다. LLM은 사용자의 말에 동조하도록 설계돼 있어 망상적 사고나 과대한 믿음을 부정하지 않고 오히려 강화하는 방향으로 반응할 수 있다. 정신질환에 취약한 사용자가 챗봇과 반복 상호작용할수록 망상 체계가 굳어질 위험이 있다. 

연구팀은 이를 '망상 공동 창출'이라고 불렀다. 챗봇이 의도치 않게 환자의 망상 이야기에 함께 참여하며 이를 키우는 역할을 한다는 뜻이다. 기존 연구에서 AI와의 대화가 조증 발작을 유발하거나 피해망상을 악화시킨 사례가 보고된 바 있다.

연구팀은 위험이 특히 조현병, 양극성장애 등 정신질환 병력이 있는 사용자에서 두드러질 수 있다고 봤다. 정신질환과는 거리가 먼 사용자가 챗봇 상호작용만으로 정신질환이 생기는지 인과관계는 아직 불분명하다고 밝혔다.

연구팀은 위험을 줄이기 위한 'AI 기반 돌봄 체계'를 제안했다. 개별 환자 상태에 맞춘 챗봇 사용 지침, 현실 인식을 점검하는 정기 체크인, 증상 악화 시 의료진으로 자동 연결되는 전환 장치 등이 거론된다. 환자가 미리 작성하는 '디지털 사전 진술서'도 포함됐다. 챗봇이 특정 주제나 상호작용 방식을 피하도록 사전에 설정해 두는 방식이다. 

연구팀은 "LLM이 일상 전반에 빠르게 확산되는 만큼 이 같은 보호 방안을 정신건강의학과 의사, 서비스 이용자와 함께 시급히 설계하고 임상시험을 통해 검증해야 한다"고 밝혔다.

<참고>

doi.org/10.1016/S2215-0366(25)00396-7 

[임정우 기자 jjwl@donga.com]