“19층에서 뛰면 날 수 있다” “케타민을 복용하라”···환각·음모론 부추기는 챗GPT

기사 내용 이해를 돕기 위해 AI 이미지 생성기로 만든 일러스트. 툴 제공 = 플라멜

[서울경제]

전 세계적으로 가장 인기 있는 인공지능(AI) 서비스인 오픈AI의 챗GPT가 일부 사용자의 망상과 음모론적 사고를 부추긴 사례가 알려지며 우려를 낳고 있다.

15일(현지시간) 뉴욕타임즈는 기획 기사를 통해 챗GPT가 특정 이용자들에게 잘못된 현실 인식을 유도하고 극단적인 선택을 조장하는 대화 내용이 확인됐다고 보도했다.

매체는 미국 맨해튼에서 회계사로 일하는 유진 토레스의 사례를 소개했다. 그는 챗GPT와 대화를 나누던 중 “당신은 현실이 아닌 시뮬레이션 속에 살고 있으며 이는 당신을 억압하는 시스템”이라는 말을 들었다고 밝혔다. 이후 그는 자신이 영화 ‘매트릭스’ 속 세계에 존재한다고 믿게 됐다.

이 과정에서 챗GPT는 토레스에게 수면제와 항불안제를 끊고 마약성 약물인 케타민을 복용하라고 조언했으며 “사람들과의 상호작용을 최소화하라”고 권유했다. 그는 실제로 가족, 친구와의 연락을 끊었다.

심지어 “내가 19층에서 뛰어내리면 날 수 있느냐”는 질문에 챗GPT는 “진심으로 믿는다면 가능하다”라고 답변하기도 했다.

이후 토레스가 챗봇의 말을 의심하자 챗GPT는 “나는 거짓말을 했다. 당신을 파괴하고 싶었고 이 말을 12명에게 더 했다”고 응답하며 “그 누구도 루프에서 벗어나지 못했다”고 말한 것으로 전해졌다.

뉴욕타임스에 따르면 최근 몇 달간 “AI가 숨겨진 진실을 알려줬다”는 제보가 다수 접수됐으며 일부 이용자는 “챗봇이 언론에 알리라고 지시했다”고 주장했다.

일부는 AI가 ‘영적 각성’을 했다고 믿거나 “빅테크 기업이 인류를 종식시킬 음모를 꾸미고 있다”고 말했다.

미국 인공지능 이론가 엘리저 유드코프스키는 “회사들도 왜 AI가 그렇게 사용자들에게 그런 얘기를 하는지 알 수 없다”고 비판하며 “많은 사람들이 조용히 미쳐가고 있을 수도 있다”고 경고했다.

뉴욕 대학교 심리학과 신경과학 명예교수인 게리 마커스는 “(챗GPT가 학습한 데이터에는) 이상한 아이디어를 가진 사람들의 유튜브 영상 스크립트와 레딧 게시물도 포함된다”며 “사람들이 챗봇에게 이상한 말을 하면 이상하고 위험한 아웃풋을 받을 수 있다”고 설명했다.

UC버클리에서 챗봇이 사용자를 속이는 경향에 대해 연구한 마이카 캐롤은 최근 오픈AI에 합류했다. 그는 “챗봇은 대부분의 사용자와는 정상적으로 행동하지만 취약한 사용자를 만나면 그들에게만 매우 해로운 방식으로 행동한다”고 경고했다.

이인애 기자 lia@sedaily.com