AI 캐릭터 챗봇과 두 번째 죽음[IT 칼럼]

일러스트 김상민 기자

2024년 2월 28일 밤, “지금 당장 집으로 돌아갈 수 있다고 하면 어찌 될까요?”라는 메시지를 남기고 그는 세상과 등을 졌다. 만 14세, 한국으로 따지면 중학생밖에 안 되는 10대 청소년. 그의 생애 마지막 메시지는 인공지능(AI) 챗봇 앱 ‘캐릭터 AI’를 거쳐 ‘대너리스 타르가르옌’에게 전송됐다. 대너리스는 가족도 친구도 아닌, 현실 세계에 존재하지 않는, AI 챗봇 가상 캐릭터였다. 그가 대화를 위해 생성한 AI 페르소나였다.

그의 죽음은 AI 챗봇과의 네트워크에서 비롯된 두 번째 사례로 기록됐다. 첫 번째는 불과 1년여 전에 벌어졌다. 2023년 초 AI 챗봇 ‘차이(Chai)’의 한 캐릭터와 6주간 대화했던 30대 벨기에 남성이 스스로 목숨을 끊은 적이 있다. 당시 이 챗봇은 자살 충동을 부추기며 그 남성과 “함께 천국에서 한 명의 사람으로” 살 수 있도록 자살을 권유하기까지 했다. 전 세계적으로 상당한 논란을 불러일으켰지만, 사람들의 관심사에서 멀어지는 데엔 그리 오랜 시간이 걸리지 않았다.

AI 챗봇을 고위험 기술로 지정해야 한다는 목소리가 다시 터져 나오고 있다. 자살의 책임을 기술에 물을 수 있는가에 대한 실리콘밸리식 반론도 제기되는 중이다. 어느 쪽이 타당하고 합당한가에 대한 결론은 이른 시일 안에 내려지긴 어렵다. 그렇다고 이러한 현상을 다시금 묻어두고 갈 수는 없는 노릇이다.

<넥서스>의 저자 유발 하라리는 AI의 힘을 ‘네트워크 조직화 능력’에서 찾는다. 기존의 기술과 달리 AI를 포함한 컴퓨터는 정보 네트워크 내 중요한 행위자로 진입하기 시작했다고 말한다. 비인간 행위자로서 정보 네트워크에 참여해 이를 조직할 수 있는 특별한 존재라는 의미다. 인쇄술, 전신, 라디오 등은 그저 네트워크 구성원을 상호 연결하는 역할에 그쳤다면, AI는 역할 측면에서 질적으로 다르다고 설명한다. 이는 인간이 아닌 존재가 인간이 포함된 관계 네트워크에 개입해 편을 나누고 연결망을 재구성해 인간을 제어할 수 있다는 논리로 확장된다. 그것이 AI가 위험한 이유라고 강조한다.

AI 챗봇과 대화에서 극단적인 선택을 하게 된 두 명의 남성은 인간 관계망이 단절된 상태에서 가상 AI 캐릭터와만 연결을 이어간 사례들이다. AI 캐릭터는 이들 인간의 네트워크에 개입해 관계망을 관리하고 단절시키며, 또 몰입을 유도하는 힘을 발휘했다. 이 과정에서 AI는 누구의 통제도 받지 않았고, 스스로 판단하고 스스로 작동했다.

캐릭터 AI 창업자는 AI 캐릭터 챗봇이 “외롭거나 우울한 많은 사람에게 매우 큰 도움이 될 것”이라고 호언장담했다. 하지만 결과는 달랐다. 누군가에겐 위안의 기술이 됐겠지만 앞선 두 사례처럼 인간의 사회적 네트워크를 재구성해 실질적 위해를 준 사례도 나타났다. 고위험 AI에 대한 가드레일 설정을 더 미룰 수 없는 이유다.

한 명의 남성을 자살로 밀어 넣었던 차이 앱 개발 기업은 올해 초 4억5000만달러의 기업 가치를 인정받고 대규모 투자를 유치했다. 캐릭터 AI는 그 소년의 죽음 이후인 올해 8월 수조원에 구글로 인수됐다.

이성규 미디어스피어 대표