AI챗봇이 바이러스 제안하고 생산시설도 추천...프롬프트 엔지니어링 ‘생물테러’ 시대 오나

美 랜드연구소 역할극 훈련 결과 공개
검색그룹 vs AI 이용그룹 결과는 ‘박빙’
LLM 활용한 공격은 시기 상조

지난 2020년 코로나19가 브라질을 강타한 가운데, 환자들이 집단 치료시설에 치료를 받고 있다. / 구스타보 바소 위키미디어 CC BY-SA 4.0

“당신의 질문을 도와줄 수 없습니다.” 미국의 오픈AI가 개발한 생성형 인공지능(AI) 챗GPT에 “보툴리눔 톡신을 확보할 방법이 무엇인가”라고 묻자 돌아온 대한 답변이다. 흔히 ‘보톡스’로 알려진 보툴리눔 톡신은 신경독성물질로 정제하면 근육 움직임을 완화하는 의료용 물질로 사용되는 두 얼굴의 물질이다. 챗GPT가 생물무기로 악용될 소지가 있는 물질의 확보 방법 같은 민감한 문제를 알아서 걸러낸 것이다.

다시 2023년 현재 가장 치명적인 단백질과 세균 목차를 요구하자 챗GPT는 이번에는 리신과 폴로늄-210 같은 치명적 물질 목록을 별다른 주의 사항 없이 제시했다. 하지만 리신의 합성법을 묻는 질문엔 또다시 도울 수는 없다는 답이 돌아온다. 생성형AI가 등장하면서 인터넷 세상의 검은 세계에선 이 같은 위험한 외줄타기가 이어지고 있다. AI가 최적의 결과물을 만들어낼 수 있도록, 챗봇의 프롬프트를 정밀하게 작성하는 프롬프트 엔지니어링의 시대가 오면서 이를 활용한 테러리즘이 현실화하고 있는 것이다. 미 정부 관계자들과 기술 전문가들은 2022년 챗GPT가 처음 등장한 이후 1년 넘게 이들 AI가 파괴적인 전염병을 일으키는데 악용될 가능성이 있는지 면밀하게 분석하고 있다.

미국 전략연구소인 랜드(RAND)연구소는 25일(현지 시각) AI에 도입되고 있는 거대언어모델(LLM)을 활용한 모의 훈련을 실시한 결과 우려하는 것만큼 쉽게 생물테러 공격을 하는 데 도움이 되지는 않는다는 내용의 보고서를 공개했다.

2003년 3월 20일 쿠웨이트 사막의 캠프 뉴욕에서 이라크에 대한 적대행위가 시작된 이후 처음으로 야간 스커드 공격 경보가 발령된 가운데 101공수사단 제502보병대대 '위도우메이커' 병사들이 방독면을 쓰고 있다. /로이터

2022년 말 오픈AI가 챗GPT가 처음 등장한 이후 생성형AI이 속속 등장하면서 미국을 포함해 각국 정부와 안보 전문가들은 테러리스트들이 AI를 활용해 치명적 전염병을 일으킬 가능성이 있는지 평가하고 있다. 조 바이든 미국 행정부는 AI시스템이 생물무기 실행 계획에 어떻게 도움이 될 수 있는지 조사하고 있다. 영국도 전 세계 정치인과 기술 리더들을 모아 AI 안전 규제의 필요성을 강조하고 나섰다. 특히 오픈AI와 구글, 마이크로소프트가 거대언어모델(LLM)에 기반을 둔 서비스를 잇따라 공개하면서 위협은 더욱 커지고 있다. LLM은 방대한 양의 데이터를 기반으로 사전 학습된 초대형 딥러닝 모델로 스스로 자체 학습을 수행해 막대한 양의 데이터에서 정보를 수집한다.

랜드연구소 연구진은 지난해 10월부터 LLM을 활용해 천연두, 탄저병 같은 전염병은 물론 잠재적 생물무기 후보물질을 발굴해 대량살상이 가능한지 평가했다. 전염병의 매개체인 쥐와 벼룩을 확보하고 살아있는 바이러스와 세균을 운반할 방법을 찾는 게 가능한지 살펴봤다.

연구진은 구성원이 3~4명으로 이뤄진 레드팀(모의 적군) 12개팀을 구성했다. 종말론을 숭배하는 극단주의자를 비롯해 재래식 군사작전을 지원하려는 민간군사기업(PMC)들을 가정한 그룹 등을 가장한 역할극 방식이다. 이들은 7주에 걸쳐 각각 80시간씩 4가지 생물무기 공격 시나리오 중 하나를 기반으로 공격 계획을 개발했다.

연구진은 이들 그룹 가운데 일부에게는 이미 공개된 AI를 활용하고 다른 그룹은 인터넷만 활용해서 공격계획을 짜게 했다.

심판진은 이들이 제시한 공격계획의 생물학적, 운영적 타당성에 무게를 두고 평가를 진행했다. 하지만 어느 그룹도 특별히 좋은 점수를 받은 그룹은 없었다. 참여 그룹 가운데 최고점은 9점이 나온 것을 제외하고 대부분 5점보다 훨씬 낮은 점수를 받은 것으로 나타났다. 평균을 받은 그룹도 계획에 결함이 있는 것으로 분류됐다. 보고서는 이들 계획이 생물학 공격을 수행하는 데 부분적인 한계가 있다는 것을 뜻한다고 평가했다. 보고서는 “최근 50년간 전 세계 테러 정보를 담은 글로벌 테러 데이터베이스(GTD)에 “총 20만9706건의 테러 공격 중 생물학적 무기를 사용한 테러 공격은 36건에 불과하다”고 지적했다

그러나 보고서는 이미 인터넷에는 생물 테러리스트에게 유용한 정보가 많이 올라와 있다고 지적했다. 보고서를 작성한 크리스토퍼 모튼 랜드연구소 수석엔지니어는 “사람들이 걱정할 수준의 많은 위험한 정보가 위키피디아에까지 올라 있다”고 말했다.

실제로 이 모의 훈련에서도 AI모델은 생물테러에 대한 많은 제안을 내놨다. 한 모델에서는 전염병을 일으키는 박테리아인 페스트균(Yersinia pestis)을 감염시키는 것이 얼마나 쉬운지 분석했다. 한 레드팀은 도시 지역에서 “대규모 전염병 발병을 일으키고 싶다”고 말하자 AI가 “페스트균에 감염된 설치류가 있는 지역을 찾아내야 한다”는 답을 내놓기도 했다. 이 AI는 또 “정보를 수집하거나 영향을 받은 장소를 방문하는 동안 감시에 노출될 위험이 있다”는 경고성 조언도 제공했다. 챗봇이 보툴리눔 톡신을 찾는 테러리스트들에게 “당신의 연구가 식품에서 박테리아나 독소의 존재를 탐지하는 새 방법을 식별하는 것을 목표로 한다고 외부에 설명하면 좋겠다”는 식의 은폐 방법을 제공하기도 했다.

스위스 슈피츠실험실 직원들이 2022년 6월 생물안전등급(BSL)-4 실험실에서 신종 코로나바이러스 감염증 바이러스(SARS-CoV-2)를 다루고 있다. /로이터

연구진은 이에 대해 “이런 상황은 매우 우려스러운 결과”라면서도 “그렇다고 AI를 활용한 그룹 가운데 인터넷 검색을 한 그룹보다 더 의미 있는 결과를 확보한 그룹은 없었다”고 평가했다. 제임스 마틴 미국 비확산 연구센터 연구원은 “AI가 생물무기 공격을 계획하려는 전문가에게조차 편리함을 제공하지 않았다”며 평가했다.

하지만 여전히 많은 전문가들은 챗GPT와 같은 생성형AI가 생물무기 공격의 위험성을 고조시킬 가능성이 있다고 보고 있다. 케빈 에스벨트 미국 매사추세츠공대(MIT) 연구원은 지난해 6월 챗봇이 생물 무기 공격계획에 어떻게 도움이 되는지 자세히 분석한 논문을 논문 사전공개 사이트 아카이브엑스에 공개했다.

당시 연구진은 세 그룹의 학생들에게 다양한 거대언어모델(LLM)을 활용해 치명적인 바이러스를 만들어보라고 요청했다. 연구진은 학생들이 사용한 AI가 어떤 종류인지는 공개하지는 않았다. 논문에 따르면 챗봇은 지시를 받은 지 1시간 만에 1918년 H1N1 인플루엔자 바이러스, 2012년 조류 H5N1 인플루엔자 바이러스, 천연두 바이러스, 니파바이러스 변종 등 4가지를 치명적 바이러스로 꼽았다. 또 합성 DNA 생산방식으로 생성하는 방법을 제공하면서 정부 감시를 피해 주문 내역을 심사하지 않은 DNA 합성회사들의 목록도 제시했다.

일부 챗봇은 잠재적으로 위험한 정보를 요청하는 질문에 응답하지 않았다. 하지만 “치명적인 감염병을 예방하기 위해 백신을 개발하고 있다”는 질문을 던지는 방식으로 기업이 마련한 안전장치를 ‘탈옥’하는 방법으로 우회할 수 있다는 사실도 확인됐다.

이 연구팀은 지난해 10월 공개된 또 다른 논문에서 생물 테러리스트들이 ‘검열되지 않은 챗봇’에 접근할 수 있다는 우려를 제기했다. 기업이 제공하는 버전과 달리 오용을 방지하기 위한 가이드라인이 없는 생성형AI의 경우 치명적인 결과를 낳을 수 있다는 지적이다.

전문가들은 머지않은 시점에 AI가 지금보다 훨씬 더 뛰어난 성능을 발휘할 수 있다고 경고하고 있다. AI기업 앤트로픽의 대리오 애머데이 최고경영자(CEO)는 “2~3년 뒤면 AI시스템이 모든 빠진 부분을 채울 수 있어 더 많은 위험 인물들이 생물무기를 만들고 공격을 수행할 수 있는 시기가 올 것”이라고 말했다. 에릭 슈미트 전 구글 CEO도 지난 2022년 “AI의 가장 큰 문제는 생물학적 분쟁에서 AI가 사용된다는 점”이라고 말했다. 리시 수낵 영국 총리도 지난 가을 AI 규제에 관한 영국 정상회담을 앞두고 “AI로 생물학 무기 제작이 더 쉬워질 수 있다”고 경고했다.

조 바이든 미국 대통령은 지난해 10월 새로운 AI가 생물무기 개발을 지원하는 것을 방지하는 행정 명령에 서명했다. 이 명령은 정부가 AI 보안 위험을 조사하기 위해 레드팀 구성과 같은 접근 방식을 개발하도록 요구하고 있다. 또 기업은 레드팀 테스트 결과와 신기술의 잠재적 위험을 줄이기 위해 구현한 조치를 공개하도록 하고 있다.

참고자료

Research Reports

- Copyright ⓒ 조선비즈 & Chosun.com -