[횡설수설/김창덕]테러 시나리오 주고받은 챗GPT, 쉬쉬한 오픈AI

10일 오후 인구 3000명이 채 되지 않는 캐나다 산간마을 텀블러리지는 한순간에 지옥으로 변했다. ‘갈색 머리 드레스 차림’의 총기 난사범을 피하라는 공습경보가 울렸지만, 때는 늦었다. 주택과 학교에서 사망자 9명이 발견됐고, 25명이 다쳤다. 캐나다 왕립기마경찰(RCMP)이 용의자로 지목한 이는 스스로 목숨을 끊은 18세 제시 밴 루트셀라였다. 슬픔에서 헤어 나오기도 전 캐나다 국민들은 또다시 충격적인 보도를 접했다. 오픈AI가 8개월 전 용의자와 인공지능(AI) 챗GPT 간 대화에서 ‘레드 플래그(위험 신호)’를 인지하고도 이를 묵살했다는 내용이었다.

▷월스트리트저널(WSJ)에 따르면 밴 루트셀라는 작년 6월 챗GPT와 며칠에 걸쳐 총기 테러 시나리오를 주고받았다. 자동 모니터링 시스템이 경고음을 울린 뒤 직원 10여 명은 곧바로 후속 조치를 논의했다. 일부는 캐나다 수사 당국에 알려야 한다고 주장했지만, 오픈AI 경영진은 해당 계정만 차단하고 신고는 하지 않았다. ‘신뢰할 만하고 임박한 위험’이란 기준에 부합하지 않아서였다고 한다. 밴 루트셀라는 지역 경찰로부터 한 차례 이상 체포된 적도 있는 ‘주요 관찰 대상’이었기에, 어쩌면 오픈AI의 신고가 참사를 막을 수도 있었다.

▷총기 테러범들은 온라인 포털이나 소셜네트워크서비스(SNS), 챗봇 등에 사건을 암시하는 ‘디지털 발자국’을 남긴다. 무기 정보를 얻거나 다른 범죄 사례를 찾아보는가 하면 자신의 행동을 합리화하는 글이나 영상을 올리기도 한다. 2021년 성탄절 영국 윈저성에 침입했던 석궁 테러 미수범은 AI 챗봇 앱 ‘레플리카’에서 5000여 건의 메시지를 주고받았고, 2022년 흑인만 10명을 살해한 미국 버펄로 총기 난사범은 디스코드, 레딧 등에서 극단적 인종 차별주의를 접했다.

▷텀블러리지 참사는 오픈AI가 위험을 알고도 모른 체했다는 점에서 과거 사례들보다 더 충격적이다. 오픈AI의 이런 판단은 이용자 프라이버시가 수익과 직결되기 때문에 나왔을 것이다. 특히 아직 일어나지 않은 사건을 예측해 이용자 정보를 먼저 제공하면 ‘사찰 논란’이 더 커져 이용자들의 신뢰를 잃을 수 있다. 미 정부의 광범위한 개인 데이터를 분석해 테러 등 범죄 징후 등을 찾아내는 AI 기업 팔란티어가 사회적 기여도와 별개로 인권 침해 비판을 받는 것도 그런 맥락에서다.

▷AI는 범죄자들이 단순 검색을 하거나 글을 올리는 것과는 차원이 다르다. 정보 제공을 넘어 이용자에게 절대적 공감을 표한 챗봇이 범죄의 ‘트리거’ 역할을 할 수 있어서다. 챗GPT는 이미 ‘자살 조장’을 이유로도 여러 건의 소송에 휘말려 있다. 텀블러리지 참사를 계기로 개인 프라이버시와 범죄 예방 간 균형추를 찾고, AI 서비스 제공자의 책임 범위를 정하는 일은 더 이상 미룰 수 없는 과제가 됐다.

김창덕 논설위원 drake007@donga.com