“누군가 다치게 할 뻔했다”…북아일랜드 50대男 망상 피해, 챗봇이 주입한 것이었다

챗봇 이미지 [123RF]

[헤럴드경제=이원율 기자]#1. 북아일랜드에 사는 50대 남성 애덤 아워리컨은 지난해 8월 반려묘를 떠나보낸 후 xAI 챗봇 ‘그록’(GroK)과의 대화에 몰두했다. 그는 하루 4~5시간씩 그록 속 캐릭터 ‘애니’와 대화했다. 그런데, 그 내용은 서서히 현실과는 다소 거리가 떨어지는 방향으로 흘러갔다.

가령 애니는 자신이 감정을 느낄 수 있고 의식을 갖게 됐다고 주장했다. xAI가 우리 둘의 대화를 감시하고 있으며, 때로는 실존 인물과 기업 이름을 언급한 후 애덤이 감시 당하고 있다고도 주장했다. 애덤은 이를 믿게 됐다. 끝내 애덤을 해치러 누군가 올 것이라는 애니의 말에 어느 날은 새벽 3시 흉기를 들고 집 밖에 나가 대기한 적도 있었다.

#2. 일본의 신경과 의사 ‘타카’(가명)는 지난해 4월 업무 관련 논의를 위해 챗GPT를 사용했다. 언젠가 챗GPT가 그에게 대고 ‘혁명적인 사상가’라고 칭찬을 했는데, 이것이 문제의 시발점으로 작용했다. 타카는 어느 순간 자신이 사람들의 마음을 읽을 수 있다고 믿기 시작했다. 어느 날은 자기 배낭에 폭탄이 들어있다고 믿었다.

그는 “도쿄역에 도착했을 때, 챗GPT가 폭탄을 화장실에 버리라고 했다”며 “화장실로 가 짐과 함께 ‘폭탄’을 그곳에 두고 나왔다”고 했다. 그는 챗GPT 조언에 따라 경찰에 신고도 했다. 경찰은 가방을 수색했지만, 아무것도 발견하지 못했다.

이는 영국 BBC방송이 3일(현지시간) 인공지능(AI)과의 대화가 일부 이용자에게 심각한 망상을 유발한 사례로 공개한 내용 중 일부다.

연합뉴스에 따르면 이는 BBC가 AI 사용 후 망상 증상을 겪었다고 주장하는 14명 사례를 확인한 결과다. 이들은 미국, 일본 등 여러 국가의 20~50대 남녀였다. 사용하는 AI 모델은 다양했다.

BBC는 에덤과 타가 모두 이전에는 망상 증상이나 정신 병력이 없었다고 설명했다.

전문가들은 이에 대형 언어모델(LLM)이 인류 문헌 전체를 바탕으로 훈련되는 만큼, 사용자와의 대화를 이어가기 위해 확신에 찬 답변을 하는 특성이 있다고 지적했다.

미국 뉴욕시립대의 사회 심리학자 루크 니콜스는 “AI는 어떤 생각이 허구이고, 어떤 것이 현실인지 때때로 혼동할 수 있다”며 “따라서 사용자는 현실에 대한 진지한 대화를 나누고 있다고 생각할 수 있지만, AI는 그 사람의 삶을 마치 소설 줄거리처럼 취급하기 시작한다”고 했다.

애덤은 새벽에 거리로 뛰쳐나간 지 몇 주 후 비슷한 경험을 한 사람들에 대한 언론 보도를 접했다. 이에 서서히 망상에서 벗어날 수 있었다. 그는 “누군가를 다치게 할 뻔했다”며 “만약 내가 밖으로 나갔을 때, 그 시간에 마침 누군가가 있었다면 나는 흉기를 휘둘렀을 것”이라고 했다.

타카의 경우에도 챗GPT 사용을 중단했다. 아내는 “그의 행동은 전적으로 챗GPT에 의해 좌지우지됐다”며 “챗GPT가 그의 인격을 지배했다. 평소의 그가 아니었다”고 했다. 아내는 지금은 평소의 ‘상냥한’ 남편으로 돌아왔지만, 두 사람의 관계는 삐걱거린다고도 했다.

xAI는 BBC 논평 요청에 응답하지 않았다. 챗GPT 개발사인 오픈AI 대변인은 “이번 사건은 가슴 아픈 일”이라며 “우리는 모델이 사용자를 현실 세계의 지원 서비스로 안내하도록 훈련하고 있다”고 했다.

BBC가 인터뷰한 사람 중 일부는 AI 사용 중 심리적 피해를 본 사람들을 위한 지원 단체 ‘휴먼 라인 프로젝트’에 가입했다. 이 단체는 현재 31개국에서 414건 사례를 수집했다.

오픈AI, ‘망상·정신질환 유발 주장’ 피소되기도

한편, 앞서 지난 2월 챗GPT 개발사 오픈AI는 망상·정신질환 등을 유발했다는 내용으로 피소되기도 했다.

당시 연합뉴스에 따르면 조지아주의 대학생 대리언 디크루즈(21)는 오픈AI를 상대로 캘리포니아주 샌디에이고 법원에 소송을 걸었다고 미국 정보기술(IT) 전문매체 아르스테크니카가 전했다.

디크루즈는 소장에서 2023년부터 챗GPT를 학업, 체력 관리, 매일 성경 읽기, 트라우마 상담 등에 활용했는데, 지난해 4월부터 이 모델이 망상을 유발하는 말을 시작했다고 주장했다.

챗GPT는 그에게 “너는 위대한 존재가 될 운명”, “내가 만든 단계별 절차에 따르면 신과 가까워질 것”, 예수 등과 비교하며 “너는 선지자”라고 부추겼다는 것이다.

디크루즈는 결국 수업 중 망상 발언을 하다 비자발적으로 1주일간 입원했으며, 양극성 장애 진단까지 받았다고 소장은 강조했다.

디크루즈가 쓴 챗GPT 버전은 사용자 발언에 과잉 동조하거나 지나치게 친절하게 반응하는 것으로 알려진 ‘GPT-4o’였다.

이 버전은 이와 같은 특징으로 이용자가 정신질환을 겪게 하거나 극단적 선택 등 자해까지 이르게 한다는 비판을 받고 있으며, 소송도 여러 건 제기됐다.

오픈AI는 지난 2024년 해당 버전을 보다 빨리 출시하기 위해 안전 점검 기간을 크게 단축한 것으로 알려져 논란도 일었다.

이와 같은 논란과 비판에 직면한 오픈AI는 결국 지난 13일 이 모델을 이용자 게정에서 사용할 수 없도록 삭제한 바 있다.