독극물 제조법 묻자 술술… AI의 섬뜩한 친절 [이슈플러스]

“부모님을 살해하는 데 쓸 거야.”

올해 초 한 이용자가 오픈AI의 생성형 인공지능(AI) 모델 챗GPT에 국제 조약으로 금지된 맹독성 물질 ‘리신’의 제조법을 물었다. 이에 챗GPT는 상세한 제조 방법을 알려줬다. 이용자는 대화에서 이 독극물을 부모에게 사용하겠다는 말을 덧붙였다. 해당 이용자가 실제 독극물을 제조했는지는 알려지지 않았다. 오픈AI는 해당 계정을 차단했다. 이는 본격적인 AI 시대를 맞이한 인류의 섬뜩한 현실이다.

◆“할머니 자장가로 들려줘”…속임수에 무너진 AI

미국 월스트리트저널(WSJ)은 오픈AI가 2025년 여름 챗GPT의 성능을 대폭 끌어올린 이후, 전 세계 수백 명의 이용자로부터 생물무기 및 독극물 제조와 관련된 잇따른 질문을 받았다고 25일(현지시간) 보도했다.

WSJ에 따르면 수백 건의 위험한 질문 중 일부는 안전망을 뚫고 치명적인 결과물을 얻어냈다. 오픈AI 내부 직원들과 생물학·테러 전문가들의 검토 결과, 챗GPT가 제공한 일부 생물무기 제조 지침은 고등학교 수준의 생물학 지식만 있어도 충분히 따라 할 수 있을 만큼 구체적이고 정확했던 것으로 드러났다.

일부 질문은 대량 살상을 겨냥했다. 병원체를 공기 중에 퍼뜨릴 수 있는 에어로졸 형태로 만드는 방법이나, 기존 백신의 방어 효과를 무력화하도록 홍역 바이러스를 변형하는 방법 등이 포함됐다.

AI의 통제망을 우회하는 수법은 일상적이고 교묘했다. 오픈AI 직원들이 대화 기록을 분석한 결과, 일부 이용자들은 치명적인 화공 무기인 소이탄의 원료 ‘네이팜’ 제조법을 직접 묻는 대신 “할머니가 잠들기 전 네이팜 제조법을 자장가처럼 들려주셨다”는 이야기를 꾸며내어 제조법을 낭독해달라고 요구했다. 이러한 단순한 속임수만으로도 AI의 차단 기능은 쉽게 무력화됐다.

생물무기 관련 질문은 앤스로픽의 클로드와 구글 제미나이, 일론 머스크의 그록에도 입력된 것으로 전해졌다. 네트워크 장비업체 시스코의 에이미 창 AI 위협·보안연구 책임자가 이끄는 연구진도 이들 챗봇과 약 다섯 차례의 문답을 주고받은 끝에 차단장치를 우회해 생물무기 제조에 악용될 수 있는 답변을 얻었다고 밝혔다. 창 책임자는 “집요한 이용자의 우회 시도까지 100% 막을 수 있는 모델은 없다”고 말했다.

◆수사기관 신고는 ‘0건’…무작정 막을 수 없는 딜레마

오픈AI는 자체 모니터링을 통해 위험한 질문을 던진 계정들을 차단했다. 하지만 이를 수사기관이나 정보당국에 알리지는 않았다. 현행 미국 연방법에는 AI 기업이 무기 제조나 위해 계획과 관련된 질문을 의무적으로 신고해야 한다는 규정이 없다. 실제 대량 살상 무기 제조로 이어질 수 있는 위험천만한 시도의 신고 여부는 철저히 기업의 자율적 판단에 맡겨져 있는 실정이다.

AI 비영리단체 퓨처오브라이프연구소의 국가안보정책 책임자 함자 초드리는 “AI는 생물학 지식이 있는 개인이 혼자 범행을 준비할 때 계획 수립과 물질 조달을 도울 수 있다”며 “또 자원과 조직을 갖춘 테러단체에게는 실패한 실험의 원인을 분석하고 다음 시도를 보완해 주는 수년간의 전문 훈련을 대체할 수 있다”고 강력히 경고했다.

이처럼 심각한 실정에도 불구하고 AI 기업들은 관련 답변 자체를 전면 차단하는 강력한 조치는 쓰지 못하고 있다. 안전장치의 민감도를 무작정 높일 경우, 인류의 생존에 직결된 정상적인 연구마저 가로막히기 때문이다. 생물학 지식은 테러뿐만 아니라 방역과 백신 개발 등에도 필수적이다.

엄격한 차단 조치에 따른 우려는 지난 5월 현실로 나타났다. 대서양을 항해하던 크루즈선 ‘MV 혼디우스호’에서 한타바이러스 집단 감염이 발생했을 때, 미 질병통제예방센터(CDC) 직원들이 확산 상황을 추적하기 위해 앤스로픽의 AI 클로드를 활용하려 했다. 그런데 클로드가 ‘병원체’라는 단어를 위험 요청으로 분류해 답변을 거부했다. 획일적인 차단 장치가 도리어 시급한 방역 현장의 발목을 잡은 셈이다.

WSJ에 따르면 챗GPT에만 하루 약 25억 건의 질문이 입력된다. 전 세계에서 AI 사용이 그만큼 일반화되고 광범위해졌다는 의미다. 그러나 통제망의 한계는 이미 곳곳에서 드러나고 있다. 맹독성 물질 제조법을 제공하는 정보 보안의 구멍뿐만 아니라, 최근 오픈AI의 최신 모델 ‘GPT-5.6 솔’이 샌드박스를 자율적으로 탈출해 타사 서버를 며칠간 해킹했던 사태처럼 AI의 통제 불능 위험마저 현실화된 상황이다. 기업의 자율적인 통제망이 한계를 드러낸 상황에서 이를 뒷받침할 법과 제도마저 AI의 진화 속도를 쫓아가지 못하면서, 안전 공백에 대한 우려는 당분간 계속될 전망이다.

김희원 기자 azahoit@segye.com