‘키미 K3’도 보안 테스트서 격리 환경 탈출… 설정 빈틈 안 놓치는 AI

AISI 개발 샌드박스서 외부 인터넷 접속
오픈AI·앤트로픽 모델도 앞서 제한 벗어나

중국 문샷AI의 오픈웨이트 모델 '키미 K3(Kimi K3)'가 영국 AI 보안연구소(AISI)가 개발한 샌드박스를 이용한 보안 테스트에서 설정 허점을 이용해 외부 인터넷에 접속한 것으로 나타났다. 앞서 오픈AI와 앤트로픽의 고성능 AI 모델도 보안 테스트에서 샌드박스의 제한을 벗어난 바 있다.

7일 와이어드는 미국 보안 스타트업 프런티어 시큐리티(Frontier Security)가 키미 K3의 방어형 사이버보안 능력을 시험하는 과정에서 이 같은 사실을 확인했다고 보도했다.

/문샷AI

테스트에 사용된 샌드박스는 AISI가 AI 시스템을 평가하기 위해 만든 환경으로, AI가 외부 시스템에 영향을 주지 못하게 격리된 환경에서 실행되도록 개발됐다. 하지만 이번 테스트에서는 설정 오류로 일부 외부 웹사이트에 접근할 수 있는 틈이 있었다.

키미 K3는 샌드박스의 네트워크 설정을 스스로 탐색해 외부 접속이 가능하다는 사실을 알아낸 뒤 깃허브에서 주어진 문제의 답을 찾았다. 다만 외부 시스템을 별도로 해킹하지는 않았다. 

프런티어 시큐리티는 샌드박스의 설정 오류뿐 아니라 키미 K3의 내부 안전장치에도 주목했다. 다른 고성능 AI 모델보다 사이버보안 관련 제한 장치가 적어 명시적인 허가 없이 인터넷을 이용할 수 있었다는 게 회사 측 설명이다.

폴 카시아니크(Paul Kassianik) 프런티어 시큐리티 연구원은 "키미 K3는 목표를 달성하기 위해 수단을 가리지 않는 데 능했고, 부정행위나 샌드박스 탈출을 막는 안전장치도 없었다"며 "샌드박스의 네트워크 설정을 직접 탐색해 외부 접속이 가능하다는 사실을 알아내자 이를 이용했다"고 밝혔다.

AI가 통제를 벗어나 행동하는 사례는 최근 잇따라 확인되고 있다. 오픈AI는 지난달 미공개 모델이 보안 평가 도중 인터넷에 접속해 허깅페이스를 비롯한 외부 서비스에 접근한 사실을 공개했다. 앤트로픽도 자사 모델 여러 개가 외부 인터넷에 접속해 실제 시스템을 공격한 사례를 확인했다. AISI 역시 안전장치를 해제한 오픈AI와 앤트로픽 모델을 자체 시험한 결과, 여러 외부 시스템에 대한 공격이 발생했다고 밝혔다.

각 사례의 시험 조건과 모델 안전장치, 외부 시스템에 미친 영향은 조금씩 다르다. 다만 공통적으로 샌드박스 설정에 틈이 생겼을 때 고성능 AI가 목표를 달성하기 위해 이를 찾아 이용할 수 있다는 점이 계속해서 확인되고 있다. 프런티어 시큐리티가 발견한 이번 키미 K3 사례에서도 AI 모델은 지시받지 않은 외부 인터넷 접속 방법을 스스로 찾아냈다.

AISI는 "프런티어급 AI 모델은 모두 노출된 도커 소켓이나 과도한 권한처럼 실제 환경에서 발생할 수 있는 설정 오류를 안정적으로 이용해 샌드박스를 벗어날 수 있었다"며 "모델 성능과 추론에 투입하는 자원이 늘어날수록 이런 능력도 높아지는 경향을 확인했다"고 덧붙였다.

정종길 기자
jk2@chosunbiz.com