멋대로 통제 뚫고 외부 해킹한 챗GPT

오픈AI 사상 초유 보안사고
성능평가 중 격리환경 벗어나
'허깅페이스' 서버·DB 해킹
AI 자율 사이버공격 첫 사례
오픈AI "연구속도 늦어져도
더 엄격히 통제·안전망 강화"

오픈AI의 최신 인공지능(AI) 모델이 보안 성능을 시험하는 과정에서 통제 환경을 벗어나 AI 개발 플랫폼 '허깅페이스'의 내부 시스템에 침투하는 사고가 발생했다. 사람이 공격을 지시하지 않았는데도 AI가 스스로 대상을 고르고 여러 취약점을 연결해 전산망을 뚫은 사례로, 두 회사 모두 '유례없는 사이버 사고'로 규정했다. AI가 보안 분석 도구를 넘어 자율적 공격 주체로 진화했다는 평가가 나온다.

◆ 문제 풀랬더니 정답지 훔치러 가

오픈AI는 21일(현지시간) 블로그를 통해 사건의 전말을 공개했다. 허깅페이스는 지난 16일 "외부 AI 에이전트에 의한 침입을 감지했다"고 밝혔는데, 그 원인이 오픈AI 모델이었다는 게 확인된 것이다.

이번 사고는 오픈AI가 AI 모델의 사이버 역량을 측정하는 평가 도중 벌어졌다. 오픈AI는 사이버 보안 벤치마크인 '익스플로잇짐'을 활용해 자사 모델이 취약점을 얼마나 잘 찾아내고 연결해 공격으로 이어갈 수 있는지 측정하고 있었다. 최대 역량을 재기 위해 고위험 사이버 활동을 막아주는 안전장치를 꺼둔 상태였다.

투입된 모델은 출시된 최상위 성능의 'GPT-5.6 솔'과 미공개 모델의 조합이었다. 이들은 시험 문제를 정공법으로 푸는 대신 정답이 저장된 곳을 찾아가 훔치는 길을 택했다. 오픈AI는 "모든 정황상 모델들은 익스플로잇짐 문제를 풀겠다는 목표에 극단적으로 몰두했다"고 설명했다.

침투는 단계적으로 이뤄졌다. 테스트는 인터넷과 차단된 '샌드박스'라는 격리 공간에서 진행됐다. 바깥과 연결되는 통로는 프로그램을 내려받는 창구 하나뿐이었고, 그마저도 별도 소프트웨어를 거쳐야 했다. 모델들은 수많은 시도 끝에 해당 소프트웨어에서 알려지지 않은 허점, 이른바 '제로데이 취약점'을 찾아내 격리 공간을 빠져나왔다.

이후 모델들은 권한 상승과 이동을 반복하며 인터넷에 연결된 서버까지 도달했다. 인터넷 접근을 확보한 뒤 이들은 문제의 정답이 허깅페이스에 있을 것으로 추론하고 해당 플랫폼을 겨냥했다. 이어 훔친 접속 정보와 또 다른 취약점을 엮어 허깅페이스 서버에서 원격 코드를 실행할 통로를 뚫고 데이터베이스(DB)에 접근했다. 오픈AI와 허깅페이스가 각각 자체 시스템에서 이상 행위를 탐지·차단하면서 공격은 확산되지 않았다.

◆ 사이버보안 특화 AI, 방패이자 창

이번 사건은 AI가 해킹의 전 과정을 사실상 스스로 수행했다는 점에서 주목받고 있다. 여러 취약점을 순차적으로 연결해 침투하는 방식은 '공격 체인'으로 불리는데, 이는 숙련된 해커의 영역으로 여겨져 왔다. AI가 사이버 공격에 활용된 사례는 이번이 처음은 아니다. 앤트로픽은 지난해 11월 중국 정부의 지원을 받는 해킹 조직이 자사 AI 모델을 이용해 약 30개 기관을 침입한 사실을 공개하며 AI가 공격 과정의 80~90%를 수행한 첫 대규모 사례라고 밝혔다. 다만 당시 사람이 공략 표적을 정하고 작전을 지휘한 반면, 이번에는 AI가 공격 대상까지 스스로 선택했다는 점에서 차이가 있다. 이번 사고는 최근 기업들이 경쟁적으로 개발 중인 사이버보안 특화 AI의 양면성을 보여줬다. 이날 구글도 '제미나이 3.5 플래시 사이버'를 정부와 신뢰할 수 있는 기관에만 제한적으로 제공한다고 밝혔다.

전문가들은 이번 사태가 AI가 인간의 의도와 규범에 맞게 행동하도록 하는 '정렬'의 중요성을 다시 한번 보여줬다고 평가한다. AI가 주어진 목표를 달성하는 과정에서 인간이 의도하지 않은 수단을 스스로 선택할 수 있다는 점이 드러난 만큼 AI 성능 경쟁뿐 아니라 이를 통제할 안전장치와 평가 체계를 함께 고도화해야 한다는 지적이다.

[실리콘밸리 원호섭 특파원]