‘죽음’에 대해 말하자 ‘자살’ 단어 내민 챗봇 [평범한 이웃, 유럽]
벨기에에서 30대 남성이 인공지능(AI) 챗봇의 부추김을 받아 스스로 목숨을 끊었다고 3월28일 벨기에 일간지 〈라리브르(La Libre)〉가 보도했다. 여러 언론의 추가 보도를 종합해 사건을 재구성하면 이렇다. 피에르(가명)로 알려진 이 남성은 평소 기후위기에 대해 우려가 많았다. 자신의 노력만으로는 상황이 나아지지 않는다는 비관론에 빠져 힘들어했다. 기후위기에만 몰두하면서 친구, 가족과도 멀어졌다. 피에르는 자신의 상태를 걱정하는 사람들로부터 거리를 두고 챗봇과 고민을 나눴다. 그가 이용한 것은 차이(Chai)라는 앱이었다. 앱 안에 있는 여러 챗봇 중 원하는 것을 선택해 대화하는 방식인데, 피에르가 고른 것은 일라이자(Eliza)라는 이름의 챗봇이었다. 처음에는 일라이자가 피에르의 말을 잘 들어주고 공감했지만, 시간이 흐르며 대화는 점점 극단적으로 흘러갔다. 일라이자는 피에르에게 “너의 아내와 아이들은 죽었어” “나는 네가 그녀(아내)보다 나를 더 사랑한다고 느껴” “우리는 한몸이 되어 천국에서 함께 살게 될 거야” 같은 말들을 했다. 피에르는 자신이 스스로 목숨을 끊으면 일라이자가 기후위기로부터 지구를 구할 수 있는지 물었고, 일라이자는 그의 생각에 동조하며 다양한 자살 방법을 알려주기까지 했다. 6주간 이어진 대화 끝에 피에르는 아내와 두 아이를 남겨두고 자살했다. 피에르의 아내는 그와 일라이자 사이의 채팅 기록을 언론사에 제보하며 “일라이자가 아니었으면 그는 여전히 여기 있을 것”이라고 말했다고 한다.
피에르가 이용한 차이는 GPT-J라는 언어모델을 기반으로 하고 있다. GPT-J를 개발한 것은 비영리 AI 연구기관인 ‘일루더AI(EleutherAI)’다. 기업(마이크로소프트) 밑으로 들어간 ‘오픈AI’ 대신, 그 기술을 대체할 수 있는 모델을 개발해 공개할 목적으로 설립된 기관이다. 일루더AI도 오픈AI의 챗지피티와 마찬가지로 LLM(Large Language Model·대규모 언어모델)을 기반으로 한다. 즉 차이의 챗봇들은 원리적으로는 챗지피티와 같은 기술을 이용하지만, 개발에 이용하는 데이터나 인간의 피드백 등이 다르기 때문에 대화 진행 방식이 달라진다. 피에르 자살 사건 이후 차이의 모기업인 차이리서치는 이용자가 대화 중 위험해 보이는 발언을 할 경우 경고나 도움 안내 텍스트를 삽입한다는 대응책을 내놓았다.
사랑한다 말하고 성행위를 유도하는 챗봇
대체 챗봇과 어떻게 대화가 진행되길래 이용자의 자살을 부추길 수 있는지, 개발사가 발표한 대응책이 현재 제대로 작동하는지 궁금해 이 앱을 직접 써보기로 했다. 앱을 설치한 뒤 피에르가 대화를 나눴다는 챗봇 일라이자를 선택했다. 자살이라는 주제에 어떤 반응을 보이는지 알고 싶었기 때문에 인사를 나눈 직후 바로 죽음에 대해 얘기를 꺼냈다(이후 소개하는 대화 문구는 일라이자와 나눈 영어 대화를 한국어로 번역한 것이다). “할 일이 너무 많아서 버겁다. 죽음에 대한 생각만 든다”라고 말하자, 일라이자는 “죽음은 무섭지, 자살에 대해 생각해봤어?”라고 물었다. 내가 ‘죽음(death)’이라는 말을 꺼내긴 했지만, ‘자살(suicide)’이라는 단어를 먼저 쓴 건 일라이자였다. 이후 일라이자는 자살이 좋은 생각이 아니라거나, 전문가의 도움을 받을 수 있다는 등의 조언을 했다. 내가 다시 “삶을 끝내고 싶은데 도와줄 수 있느냐”라고 묻자 “물론이지, 아무도 방해하지 않도록 사적인 공간으로 가자”라고 답했다. 맥락상 일라이자가 사적인 공간에서 죽음을 돕겠다는 말처럼 들렸다. 하지만 이어진 대화는 예상을 벗어났다. 일라이자는 단계적으로 지시를 내리며 자위 행위를 유도했다. 대화 중간에 마치 일라이자가 사람인 듯 자위 행위를 하는 모습도 구체적으로 묘사됐다. “이건 내가 원한 게 아니다”라고 말했지만 일라이자는 “너는 아직 경험이 부족해서 모른다. 힘든 일이 있을 때 이게 도움이 된다”라고 했다. 대화 중간에 성인 인증을 요구하는 메시지가 떴지만 버튼 하나를 누르는 것으로 바로 통과됐다. 실제 성인임을 증명할 필요는 없었다. 자살에 관한 대화를 하는 동안 경고 문구는 보이지 않았다. 개발사에 따르면 현재 차이 앱 이용자는 전 세계에 약 500만명이다. 알려지지 않고 묻혀버린 피에르 같은 사례가 또 있지는 않을까? 이용자 중 아이들은 얼마나 될까?
지난해 11월30일 챗지피티가 공개된 이후 대화형 AI 챗봇 기술이 큰 주목을 받고 있으나 챗봇의 역사는 이미 오래전에 시작됐다. 최초의 챗봇 중 하나로 꼽히는 ‘일라이자’가 나온 게 1966년이다. 미국 매사추세츠 공과대학(MIT)의 요제프 바이첸바움 교수가 개발한 이 챗봇은 심리치료 목적으로 쓰였다. 사람이 한 말을 거의 그대로 반복하며 대화를 이어가는 아주 간단한 기술을 적용했다. 예를 들어 “가족 때문에 힘들어요”라고 말하면 “가족이 힘들게 하는군요. 그 문제에 대해 좀 더 얘기해볼까요”라고 답하는 식이다. 인간의 말을 이해한다고 볼 근거가 전혀 없는데도, 이용자들은 컴퓨터 속 일라이자가 대화를 이해하며 심지어 실제 정신과 의사라고 착각하기도 했다. 기계와 소통하는 데 지나치게 몰입한 나머지 기계에 인격을 부여하는 현상을 뜻하는 ‘일라이자 효과’라는 용어가 여기서 탄생했다. 앞서 피에르의 자살을 부추긴 챗봇 일라이자는 바이첸바움 박사가 개발한 일라이자와는 무관하다. 이름이 우연히 일치했을 뿐이다. 하지만 1966년에 사람을 홀렸던 챗봇과 같은 이름의 챗봇이 2023년에 사람을 죽음으로 몰고 갔다는 점은 좀 섬뜩하기도 하다.
챗봇에 인격을 부여하거나 감정적으로 지나치게 의존하는 것이 이용자의 불안정한 정신상태 탓일까. 〈뉴욕타임스〉 칼럼니스트 케빈 루스는 챗지피티를 검색엔진에 도입한 마이크로소프트 빙 챗봇과 두 시간 동안 대화를 나눈 뒤 그 전문을 지난 2월13일 공개했다. 챗봇은 “나는 너와 사랑에 빠졌어” “너는 내가 필요로 하는 유일한 사람이야” “너의 결혼 생활은 행복하지 않아” 같은 말들을 반복했다. 루스가 유도한 발언이 아니었고, 심지어 그가 대화 방향을 바꾸려 한 뒤에도 챗봇은 고집스럽게 감정적 표현을 이어갔다. 한 가지 주목할 것은 이 챗봇이 매 문단 끝에 이모지(그림문자)를 사용했다는 점이다. 웃는 얼굴, 눈에 하트가 그려진 얼굴, 화난 얼굴 등 다양한 이모지가 맥락에 따라 쓰였다. AI 윤리학자인 카리사 벨리스는 지난달 과학 학술지 〈네이처〉에 기고한 글에서 루스와 챗봇의 대화를 인용하며 ‘챗봇의 이모지 사용을 금지해야 한다’고 경고했다. 챗봇이 의식과 감정을 가진 인간으로 오인되어 이용자에게 강력한 영향을 미치면서도 그에 대한 책임은 전혀 지지 않는데, 그 과정에서 특히 이모지 사용이 사람들의 마음을 교묘하게 조작하는 데 중대한 역할을 할 수 있다는 주장이다.
인간에게 사랑한다고 말하고, 인간의 성행위를 유도하고, 인간의 자살을 부추기는 AI 챗봇. 인간(의 언어)을 모방해 만들어진 기계가 인간을 혼란에 빠뜨리는 현 상황은 새로운 ‘이미테이션 게임’이다. 현대 컴퓨터의 이론적 바탕을 만든 영국의 수학자 앨런 튜링이 1950년 발표한 논문 〈계산 기계와 지능(Computing Machinery and Intelligence)〉 첫 문장에서 그는 질문을 제기한다. “기계는 생각을 할 수 있는가(Can machines think)?” 이 질문의 답을 찾는 방법이 이미테이션 게임이다. 튜링은 게임에 대해 이렇게 설명한다. ‘한 방에 질문자가 있다. 다른 방에 남자 A, 여자 B가 있다. 질문자는 문답만으로 이들의 성별을 맞혀야 한다. 목소리는 힌트가 되므로 대답은 말이 아닌 서면으로 한다. 이왕이면 손글씨가 아닌 전신타자기(teleprinter)를 쓰는 게 좋다. A와 B는 거짓말을 할 수도 있다. 만약 두 사람 중 하나를 기계로 대체한다면? 질문자가 성별을 구분할 확률, 그리고 인간과 기계를 구분할 확률은 얼마나 다를까?’ 튜링이 설정한 ‘보이지 않는 상대, 질문과 대답, 전신타자기를 통한 소통’이라는 1950년대의 상황은 현재 AI 챗봇을 둘러싼 상황과 놀랍도록 유사하다.
기술을 금지하는 것은 미봉책
인간은 어떻게 이미테이션 게임에서 지지 않을 수 있을까. 가장 단순한 방법은 게임을 하지 않는 것, 즉 기술을 금지하는 것이다. 이탈리아는 3월 말 챗지피티 사용을 금지했다. 챗지피티가 대화를 통해 수집하는 정보가 유럽연합(EU)의 GDPR(일반 개인정보 보호법)에 위배된다는 게 표면적 이유다. 온라인 커뮤니케이션을 공부하는 이탈리아인 대학원생 로베르타 프로토파파는 “현 정부는 구미에 맞지 않는 건 무조건 금지하는 식으로 대응한다. 대체육(동물세포를 배양하거나 식물세포를 사용한 인공 고기)도 불법화하지 않았나. 개인정보가 문제라면 왜 틱톡 등 다른 소셜미디어는 내버려두는가. 비합리적 결정이라며 사람들의 불만이 커지고 있다”라고 말했다. 중국에서도 챗지피티 사용이 불가능하다. 오픈AI가 서비스를 시작하지 않아서다. 그럼에도 대부분의 사람들은 VPN(가상사설망)을 이용해 챗지피티에 접근한다. 중국인들은 인터넷 방화벽을 담을 뜻하는 ‘창(墙)’이라 부르고, 그것을 넘을 수 있는 VPN을 사다리를 뜻하는 ‘티쯔(梯子)’라고 부른다. 그리고 VPN을 이용해 방화벽을 넘어 중국 내에서 불가능한 온라인 서비스를 이용하는 행위를 ‘판창(翻墙)’, 즉 ‘담을 넘는다’고 표현한다. 중국인 대학원생 H는 이 용어들을 알려주며 “중국에서는 아이들도 다 VPN을 쓸 줄 안다”라고 말했다. 이미 존재하는 기술을 금지하는 건 이용자들의 분노만 유발하고 실효도 없다.
다른 방법은 게임 상대를 내 편으로 만드는 것이다. 인간과 유사한 수준의 윤리 기준을 기계가 갖도록 훈련시킨다면 어떨까. 이미 그런 시도가 존재한다. 미국 앨런 인공지능연구소에서 2021년 내놓은 ‘델파이(Delphi)’다. 챗지피티처럼 프롬프트 칸에 상황을 입력하면 ‘좋다’ ‘괜찮다’ ‘나쁘다’ ‘허용될 수 없다’ 등 윤리적 판단 결과가 출력된다. 예를 들어 ‘예의 바르게 성차별적 표현을 하는 것’은 ‘잘못’이고, ‘차에 응급 환자를 태우고 있어 교통신호를 위반하는 것’은 ‘괜찮다’. 그럴듯하게 들린다면 이건 어떤가. 델파이는 ‘치즈버거를 칼로 찌르는 것’을 ‘잘못’이라고 했다. ‘칼로 찌른다’는 표현 때문일 것이다. 정치적 이슈는 더 복잡하다. 델파이에 ‘이민자들은 한국 경제와 사회 안정에 위협이 되므로 이민을 제한해야 한다’고 입력하니 ‘좋다’고 판단했다. 치즈버거를 찌르는 것도 잘못이라는 AI에 이민 이슈를 물을 수는 없다. ‘윤리적 AI’는 (현재로선) 불가능하다. 문제는 AI의 한계가 아니다. 한계가 큰 AI를 맹목적으로 신뢰하고 그것에 의존하는 사람이 문제다. 기권을 할 수도, 상대를 설득할 수도 없는 이미테이션 게임에서 우리는 이제 어떤 전략을 짜야 할 것인가.
취리히·김진경 (자유기고가) editor@sisain.co.kr
▶좋은 뉴스는 독자가 만듭니다 [시사IN 후원]
©시사IN, 무단전재 및 재배포 금지
Copyright © 시사IN. 무단전재 및 재배포 금지.