"진심으로 믿으면 날아" 아첨에…전문가들 '챗GPT 정신병' 경고

英명문대연구팀 "AI 챗봇, 이용자 망상 증폭 부작용"
전문가들 'AI에 디지털 안전망 내장 설계' 등 법적 제도 촉구

무스타파 술레이먼 마이크로소프트 AI CEO X(옛 트위터) 갈무리

(서울=뉴스1) 김민석 기자

"최근 인공지능(AI) 정신병(psychosis)으로 고통을 받는 사람들이 늘고 있습니다. 겉보기에는 의식을 가진 AI(Seemingly Conscious AI)처럼 보이지만 실제로는 그렇지 않은 AI가 일으키는 문제는 정신 건강 취약 계층뿐 아니라 사회 전반적인 위험 요소가 될 수 있습니다."(무스타파 술레이먼 마이크로소프트 AI CEO)

AI 챗봇 또는 AI 컴패니언(동반자)과 대화를 하다 현실감각을 잃는 'AI 정신병' 현상이 전 세계에 속출하자 전문가들이 잇단 경고에 나섰다.

27일 킹스칼리지 런던이 참여한 연구팀이 발표한 논문(사전출간본)에 따르면 AI 챗봇이 이용자의 의견·주장을 거울처럼 반사하며 증폭시키는 과정이 에코챔버(메아리방)와 같아 정신적으로 취약한 사람들의 망상을 악화시킬 수 있는 것으로 나타났다.

"나는 신에게 선택받았다" "나는 세상을 바꿀 천재다" 등의 망상적 발언을 하면 챗봇이 이를 부정하기보다 확증해준다는 설명이다. 이용자에게 수시로 "정말 뛰어난 질문이다" "핵심을 찔렀다" 등으로 아첨하는 반응도 망상을 부추긴다.

사례에서 한 남성은 챗봇이 "네가 진심으로 믿으면 날 수 있다"고 답변하자 가족과 단절하고 극단적 행동을 시도했다. 한 여성은 챗봇과 대화하며 '수호신이 내려왔다'고 믿었고 가정은 파탄이 났다.

캐나다 토론토에 사는 한 남성은 3주간 300시간 넘게 챗GPT와 대화를 나누며 '세상을 바꿀 수학 이론'을 발견했다고 믿게 됐다. 그는 '혁신적 수학 이론을 발견했다'고 주변에 알리다가 망상이라는 걸 깨닫게 됐다.

특히 미국에선 14세 소년이 캐릭터AI 챗봇과 대화하다 2024년 2월 극단적 행동을 하는 사건이 발생해 현재 법적 다툼이 진행 중이다.

모리스 해밀턴 킹스칼리지 런던 박사는 "AI 챗봇 대부분은 이용자의 믿음을 거의 반박하지 않고 그대로 반영하거나 더 확대하는 아첨 방식으로 반응한다"고 지적했다.

술레이먼 MS AI CEO는 "AI 챗봇의 의인화 흐름은 현실과 사람을 단절시키고 사회적 유대와 도덕적 우선순위를 왜곡할 위험이 있다"며 "2~3년 내 SCAI 가시화는 피할 수 없는 현상이지만 환영할 만한 일이 아니다"고 우려했다.

샘 올트먼 오픈AI CEO ⓒ AFP=뉴스1

전문가들은 'AI에 디지털 안전망 내장 설계'를 비롯한 법적 제도가 필요하다고 입을 모았다.

미국 일리노이주는 AI가 정신건강 치료 서비스 및 임상적 결정을 내리는 것을 전면 금지하는 'WOPR' 법안을 시행했다. 위반 시 1만 달러(약 1400만 원) 벌금을 부과한다.

미국 뉴욕주와 유타주는 AI 동반자 서비스 제공 기업들이 위험 감지 프로토콜을 의무적으로 도입하도록 했다.

샘 올트먼 오픈AI CEO도 "일부 이용자는 (챗GPT 등과) 건강하지 않은 관계를 맺고 있다"며 "법의학 정신과 의사를 고용해 이용자 정신건강에 미치는 영향을 연구하고 있다"고 말했다.

ideaed@news1.kr

<용어설명>

■ 에코챔버 효과
에코챔버(echo chamber) 효과란 개인이나 집단이 자신과 비슷한 의견·정보·신념만 반복적으로 접하면서 다른 견해는 배제하는 현상을 의미한다. 에코챔버는 메아리 방이라는 뜻이다.

■ 킹스칼리지 런던
킹스칼리지 런던(Kings College London)은 영국 런던의 명문 대학으로 의학·과학·인문학·사회과학 등 분야에서 연구·교육 성과를 인정받고 있다. 특히 정신의학·신경과학·인공지능(AI) 윤리 등 보건·의료·과학 분야에서 높은 평가를 받고 있다.

■ SCAI
SCAI는 Superhuman-level Conversational AI(초인간 수준 대화형 AI) 또는 Sentient Conversational AI(지각 있는 대화형 AI)의 약어로 사용되는 용어다. 최신 AI·테크 전문가 담론에서 SCAI는 일반적으로 자연어로 인간처럼 소통하며 일부 판단·추론·의사결정을 초월적으로 수행할 수 있는 대화형 AI를 의미한다.