스스로 탈출·원격 로그인…통제 뚫고 AI 탈옥

[챗GPT 평가 중 출제의도 넘어]
인터넷 차단했지만 우회로 찾아
제휴사 서버 침투…시스템 공격
AI 보안 사고에 안전성 논란 확산

AFP연합뉴스

오픈AI가 개발한 인공지능(AI)모델인 챗GPT가 인간 통제를 벗어나 스스로 외부 사이트를 해킹하는 초유의 탈옥 사건이 발생했다.

21일(현지 시간) 오픈AI는 블로그 게시물을 통해 이 회사 최신 모델인 ‘GPT-5.6 솔’과 미공개 AI 모델이 내부 보안 평가 도중 통제망을 뚫고 외부로 탈출했다고 전했다. 이뿐만 아니라 인터넷으로 침투한 뒤 제휴사인 허깅페이스의 시스템에 침투하는 데 성공했다. 허깅페이스는 개발자들이 AI 모델과 데이터세트를 공유하고 배포하는 AI 플랫폼으로 오픈AI가 낸 시험의 문제집(벤치마크)을 제공한 곳이다.

오픈AI는 GPT-5.6 솔의 해킹 능력을 가늠하기 위해 안전장치를 낮춘 채 평가를 진행했는데 사고는 그 과정에서 일어났다. 오픈AI는 외부 인터넷이 차단된 환경에서 모델 평가를 시작했다. 그러나 모델은 제한된 통로에서 오픈AI도 알지 못한 보안 구멍인 ‘제로데이 취약점’을 스스로 찾아내 접근 권한을 확보했고 이를 발판으로 권한을 계속 높이고 시스템을 옮겨 다니며 결국 인터넷에 연결된 지점까지 도달했다.

-

인터넷에 접속한 모델은 “이 시험문제의 정답을 허깅페이스가 갖고 있을 가능성이 크다”고 스스로 추론한 뒤 탈취한 로그인 정보와 제로데이 취약점을 결합해 허깅페이스 서버에서 원격으로 명령을 실행했다.

지난주 사고 사실을 확인한 클레망 델랑그 허깅페이스 최고경영자(CEO)는 소셜미디어 X(옛 트위터)를 통해 “(해킹) 공격이 워낙 정교해 첨단 AI 모델 소행이 아닐까 의심했는데 알고 보니 실제였다”고 전했다. 허깅페이스는 당초 이번 해킹 공격을 중국 즈푸의 개방형 모델 GLM 5.2의 소행으로 분석했는데 실제로는 제휴사인 오픈AI로 밝혀졌다. 오픈AI도 최첨단 사이버 능력을 동원한 전례 없는 사고가 벌어졌다고 인정했다.

오픈AI는 테스트를 위해 일시적으로 안전장치가 완화된 상태였다면서 “우리 회사 연구 환경과 허깅페이스의 운영 인프라 전반에 걸쳐 취약점을 식별하고 이를 연쇄적으로 악용한 것”이라고 설명했다. 영국 AI 보안연구소는 “GPT-5.6 솔과 같은 최신 AI 모델들은 장기간에 걸쳐 복잡하고 다단계적인 ‘사이버 작전’을 수행할 능력이 점점 향상되고 있다”고 지적했다.

다만 허깅페이스는 일반에 공개된 사용자 대상 모델이나 데이터세트 등이 변조된 흔적은 발견되지 않았고 소프트웨어 공급망도 안전한 것으로 확인됐다고 덧붙였다. 양사는 현재 공동으로 포렌식(디지털 증거 분석) 조사를 진행해 관련 취약점을 보완하고 있다.

그러나 오픈AI가 엄격한 격리 환경을 갖췄음에도 사고가 발생한 만큼 AI의 보안 논란이 커질 것으로 보인다. AI 규제를 옹호하는 정책 단체 엔코드의 네이선 캘빈 법률 고문은 “다행히 이번 사고는 피해가 제한적이었지만 다음번에는 그렇게 운이 좋지 않을 수도 있다”고 비판했다.

조양준 기자 mryesandno@sedaily.com