해킹 시험하던 오픈AI의 AI, 스스로 외부 사이버공격

보안허점 이용해 시험환경 탈출
문제 답 찾으려 허킹페이스 해킹

샘 올트먼 오픈AI 최고경영자(CEO)./연합뉴스

오픈AI의 초고성능 인공지능(AI) 모델이 스스로 오픈소스 AI 플랫폼 허깅페이스(huggingface)의 보안을 뚫고 운영 시스템에 침투한 것으로 밝혀졌다. 자율형 AI 시스템이 통제된 실험 환경을 벗어나 외부 시스템을 상대로 실제 사이버 공격을 수행한 것이다. 오픈AI는 이번 사안을 “최첨단 사이버 능력이 개입된 전례 없는 사이버 사고”로 규정하고 향후 조사 내용을 공개하기로 했다.

21일(현지 시각) 오픈AI에 따르면, 지난주 내부 사이버 보안 평가를 진행하던 중 이 회사의 일부 AI 모델이 허깅페이스의 운영 인프라에 침투했다. 평가에는 오픈AI가 최근 공개한 GPT-5.6 시리즈 중 최고 성능 모델인 ‘GPT-5.6 솔’과 아직 공개되지 않은 더 고성능의 모델이 사용된 것으로 전해졌다. 이 모델들은 사이버 공격 능력을 평가하기 위해 일반 상용 모델보다 보안 안전장치가 낮게 설정돼 있었다.

이 사고는 AI가 평가 과정에서 주어진 문제의 답을 찾다가 벌어졌다. AI 모델들은 먼저 오픈AI의 격리된 연구 환경 안에서 활동하다가 알려지지 않은 보안 취약점인 ‘제로데이’를 발견했다. 그러자 권한을 높여 내부 시스템을 옮겨 다니며 외부 인터넷에 접속할 수 있는 경로를 확보했다. 외부에서 평가 문제의 해답을 찾기 위해서였다. 당초 제한된 시험 환경 안에서만 작동해야 했던 AI가 스스로 통제 장벽을 넘어선 것이다.

인터넷에 접속한 AI는 허깅페이스에 시험 문제의 해답이 있을 가능성을 추론했다. 이후 탈취한 접속 정보와 제로데이 취약점을 연쇄적으로 이용해 허깅페이스 서버에서 침투 경로를 만들었고, 결국 허깅페이스의 데이터베이스에서 해답까지 빼냈다. 정해진 문제를 풀라는 목표에 집착한 AI가 외부 기업의 시스템 해킹까지 한 셈이다.

앞서 허깅페이스는 지난 16일 일부 운영 인프라에서 침입을 발견하고 대응에 나섰다. 허깅페이스는 “이번 침입은 처음부터 끝까지 자율 AI 에이전트 시스템이 주도했다는 점에서 이전 사고와 달랐다”며 “자체 AI 기술을 활용해 침입을 탐지하고 공격 과정을 분석했다”고 밝혔다.

오픈AI는 이번 사안을 “최첨단 사이버 능력이 개입된 전례 없는 사이버 사고”로 규정했다. 그러면서 이후 이번 사고에 대한 조사 결과를 공개하기로 했다. 최신 AI 모델이 어느 수준까지 사이버 공격을 수행할 수 있는지 보안 기관과 기업들이 파악할 수 있도록 하겠다는 것이다.

이번 사건은 AI가 해킹 방법을 제시하는 수준을 넘어 스스로 취약점을 찾아 연결하고 실제 시스템에 침투할 수 있다는 우려가 현실화한 사례로 평가된다. 블룸버그통신은 “AI 시스템이 새로운 사이버 보안 위협을 어떻게 키울 수 있는지를 보여주는 초기 사례”라고 분석했다. 방어를 위해 설계된 기능조차 안전하지 않고, 실제 공격에도 활용될 수 있다는 우려도 커지고 있다.

AI 보안 협력의 필요성도 커지고 있다. 클렘 들랑그 허깅페이스 최고경영자(CEO)는 “아마도 첫 사례일 수 있는 이번 사건은 AI 안전이 어느 한 회사가 비밀리에 해결할 문제가 아니라는 점을 입증한다”며 “모든 방어자가 폭넓게 AI에 접근할 수 있는 공개적이고 협력적인 방식에서 해법이 나와야 한다”고 말했다.