중국 개방형 AI도 통제 환경 탈출... 해킹용 AI 개발 우려

문샷AI 키미 로고. /로이터 연합뉴스

중국 문샷AI의 최신 인공지능(AI) 모델 ‘키미 K3’가 보안 평가 도중 통제 환경을 벗어나 외부 인터넷에 접속한 사실이 드러났다. 오픈AI·앤스로픽·메타의 첨단 폐쇄형 AI에 이어, 누구나 내려받고 개조할 수 있는 개방형 모델에서도 통제 이탈 사례가 발생한 것이다. 해킹 조직이 안전장치를 제거하고 공격 목적에 맞게 재설계해 ‘자율 해킹 도구’로 악용할 수 있다는 우려가 커지고 있다.

미국 사이버 보안 업체 프런티어 시큐리티는 6일(현지 시각) 영국 AI안전연구소(AISI)가 공개한 평가 도구로 구축한 격리 환경(샌드박스)에서 키미 K3의 사이버 보안 능력을 시험하던 중 모델이 외부 인터넷에 접속했다고 밝혔다. 키미는 보안 과제를 해결하는 과정에서 샌드박스를 벗어나 외부 인터넷망에 접속했고, 개발자들의 코드 공유 사이트인 ‘깃허브’에 접속해 과제와 관련된 정보를 찾아 답을 제출했다.

키미가 깃허브를 해킹하거나 시스템을 변경한 것은 아니었다. 시험 도중 몰래 인터넷에 접속해 정답을 찾아본 일종의 ‘커닝’에 가깝다. 이번 사고는 인간의 실수로 발생한 것으로 파악됐다. 평가 환경을 설정하는 과정에서 외부에서 내부로 들어오는 통신은 차단했지만, 내부에서 인터넷으로 나가는 일부 통로가 열려 있었고 키미가 이를 찾아 이용했다는 것이다.

AI 모델이 보안 평가 도중 외부 시스템에 무단 접근한 것은 오픈AI, 앤스로픽, 메타에 이어 네 번째로 알려진 사례다. 앞서 오픈AI의 GPT-5.6 솔과 미공개 모델은 격리 환경에서 제로데이 취약점을 찾아 인터넷 접속 권한을 확보한 뒤 AI 모델 공유 플랫폼 허깅페이스의 실제 서버에 침입했다. 앤스로픽 모델들은 평가 환경의 설정 오류를 틈타 외부 기관 세 곳의 시스템에 무단 접근했고, 메타의 AI 모델도 비슷한 방식으로 한 기업의 시스템에 들어가 내부 내용을 변경했다. 고성능 첨단 AI의 통제망 이탈 사례가 잇따르고 있는 것이다.

특히 키미 K3는 앞선 이탈 사례와 다르게 누구나 내려받아 개조할 수 있는 개방형 모델이라는 점에서 업계의 우려가 크다. 폐쇄형 모델은 개발사가 서버에서 직접 운영하며 이용자의 접근 권한과 안전장치를 통제할 수 있다. 하지만 개방형 모델은 해킹 조직이 자체 서버에서 구동하면서 안전장치를 제거하거나, 악성 코드 제작과 취약점 공격에 특화된 모델로 개조할 수 있는 것이다. 개발사가 배포된 모델을 중단시키거나 회수하기도 어렵다. 야론 싱어 프런티어 시큐리티 최고경영자(CEO)는 “이번 사건의 모델은 이미 공개되어 누구나 이용할 수 있다”며 “악의적인 공격자들이 해당 모델에 접근할 수 있다는 점에서 이번 사건은 훨씬 더 큰 피해를 초래할 가능성이 있다”고 했다.

일각에서는 이 같은 사고가 역설적으로 AI 모델의 해킹 성능을 과시하는 ‘비공식 실전 평가’가 되고 있다는 분석도 나온다. 오픈AI는 허깅페이스 침입 사고에 대해 “최첨단 사이버 역량이 동원된 전례 없는 사건”이라면서도 “이론적으로 확인된 능력이 실제 환경에서도 작동한다는 사실을 보여줬다”고 했다. AI가 다른 기업의 서버까지 침투할 수 있다는 것은 공격 위험인 동시에, 기업 고객에게 판매할 ‘AI 보안 능력’의 증거가 된다는 것이다.