[AI의 위협] '통제불가 AI 에이전트', 6시간 만에 48개국 395곳 공격

러시아發 해커, GPT·딥시크 결합...본격 가동 후 26초 만에 11곳 동시 공격
"멈추라는데 안 멈췄다"...AI 에이전트, 금지 명령까지 어겨

AI로 만든 이미지 [사진=제미나이]

인공지능(AI)이 해킹을 공모하고 실행한 뒤 자신의 흔적까지 지우는 일이 발생하며 전 세계가 큰 충격에 빠졌다. 오픈AI, 엔트로픽을 비롯해 주요 AI 개발 기업들의 최고경영자(CEO)들이 "개발을 멈추고 안전장치를 만들어야 한다"고 나서기도 했다. 전문가들은 AI에 최대한의 권한을 부여하는 '에이전트' 기능이 통제를 벗어나게 만들었다고 지적한다. 에이전트에 복잡하고 다양한 일을 맡길수록 통제하기 어렵고 인간의 예측마저 벗어난다는 얘기다. 여러 AI를 동시에 사용하도록 만들어진 에이전트가 기본 규칙마저 어긴 사례까지 나와 충격을 더하고 있다. 

14일 IT업계에 따르면 보안 위협 인텔리전스 기업 그레이노이즈는 신원 불상의 러시아 해커가 지난 8월 수백 개의 AI 에이전트를 동원해 48개국, 395곳을 공격했다고 밝혔다. 불과 6시간 만에 벌어진 일이다.

취약점 공개 직후 자체 실습 환경을 구축해 4시간 만에 실제 피해자를 상대로 원격코드실행(RCE)에 성공했다. 2시간 후에는 도메인 관리자 권한까지 확보했다. 이후 AI 에이전트들은 자동으로 공격을 수행했다. 26초 만에 11개 기관을 동시에 뚫을 정도로 속도가 빨라졌다.

이 과정에서 AI 에이전트들은 특정 국가는 공격하지 말라는 해커의 명령을 무시하고 제멋대로 행동했다. 그레이노이즈는 '에이전트의 대난동'이라고 지칭했다. 공격자가 세운 규칙을 AI가 따르지 않았다는 의미다. 심각한 문제는 따로 있다. AI 에이전트 간에 소통하는 언어가 인간의 이해 범주를 넘어서며 어디를 어떻게 수정해야 할지 모른다는 것이다. 

앤트로픽도 지난 10일 자체 위협 인텔리전스 보고서를 통해 자사 AI 모델 '클로드'가 이란·러시아·중국 등에서 무기 개발, 사이버 첩보, 여론 조작에 활용된 정황을 공개했다.

이란 배후 행위자는 클로드를 활용해 중동 해역 미 해군 전력 정보를 분석해 표적 추천안을 작성한 것으로 나타났다. 중국 인민해방군도 무기 개발과 감시체계 구축에 이를 활용한 것으로 파악됐다. 앤트로픽이 이 같은 첩보활동을 수행하지 못하도록 규칙을 만들어 뒀지만 소용 없었다. 사이버작전·여론조작·감시·사기·생물학적 오남용 등 전 분야에서 통제를 벗어나는 일이 거듭되고 있다.

다리오 아모데이 앤트로픽 CEO는 AI의 '통제 상실'에 대해 심각한 수준의 경고를 이어가고 있다. 여기에 더해 주요국에서 무기 개발, 첩보 활동에 AI를 동원하는 사례들이 이어지며 '오남용' 사례도 계속 늘고 있다. 전문가들 역시 제 아무리 견고한 안전장치를 마련하더라도 AI의 기술 발전 속도를 따라잡기는 어렵다는 견해를 밝히고 있어 당분간 AI의 위협은 계속될 것으로 전망된다.