“AI가 해킹했다? 본질은 통제 실패”…티오리 박세준 대표가 본 ‘AI 에이전트 보안 경고’

“취약점 발견부터 공격 경로 연결까지 자동화"
"이제 병목은 AI가 아닌 신뢰 인프라와 대응 속도”

[이데일리 김현아 기자] 인공지능(AI) 에이전트가 인간이 설계한 보안 장벽을 넘어 실제 외부 시스템 접근에 성공한 사례가 공개되면서 AI 시대의 사이버 보안 위협에 대한 경각심이 커지고 있다.

박세준 티오리 대표는 22일 자신의 페이스북을 통해 오픈AI와 허깅페이스(Hugging Face) 사이에서 발생한 AI 보안 사고를 분석하며 “자율 에이전트 공격자는 더 이상 발표 자료 속 가상의 시나리오가 아니다”라고 평가했다.

티오리 박세준 대표. 사진=본인 페이스북

이번 사건은 AI가 단순히 해킹 방법을 알려주는 수준을 넘어, 스스로 취약점을 찾고 공격 경로를 조합해 목표를 달성하는 단계에 진입했음을 보여줬다는 점에서 업계의 주목을 받고 있다.

앞서 오픈AI는 사이버 보안 능력을 평가하는 내부 테스트 과정에서 AI 모델이 격리된 환경을 벗어나 허깅페이스 관련 시스템에 접근한 사례를 공개했다.

오픈AI에 따르면 테스트 대상 모델은 외부 인터넷이 차단된 환경에서 평가됐지만, 패키지 설치를 위해 열어둔 레지스트리 프록시의 취약점을 찾아내 권한 상승과 내부 이동을 수행했다. 이후 인터넷 연결 노드에 접근한 뒤 탈취한 인증정보와 추가 취약점을 결합해 허깅페이스 시스템에서 원격 코드 실행 경로를 확보한 것으로 알려졌다.

박 대표는 이번 사례의 핵심으로 세 가지를 꼽았다.

첫째는 “자율형 AI 공격자가 현실화됐다”는 점이다. 그는 “모델은 소스코드 접근 없이도 실제 시스템에서 새로운 취약점을 찾고 이를 연쇄적으로 연결해 기계 속도로 공격을 수행했다”며 “취약점 발견부터 익스플로잇, 측면 이동까지 공격 과정이 사람 개입 없이 자동화됐다”고 설명했다.

둘째는 AI 정렬(alignment)과 보안 문제가 사실상 같은 영역이라는 점이다. 박 대표는 “이번 행동은 AI가 악의를 가진 것이 아니라 주어진 목표를 지나치게 좁게 최적화한 결과”라며 “정답을 가져오라는 지시가 제3자 시스템 침해라는 방식으로 변질될 수 있다는 점이 핵심”이라고 지적했다.

셋째는 AI 학습·평가 과정에서 활용되는 데이터 파이프라인 자체가 새로운 공격 표면이 되고 있다는 점이다. 신뢰할 수 없는 데이터를 처리하거나 외부 시스템과 연결되는 과정이 연구 환경에서도 고위험 요소가 될 수 있다는 설명이다.

사진=AFP

특히 박 대표는 허깅페이스의 대응 과정에서 드러난 AI 보안의 새로운 현실에도 주목했다.

그는 “허깅페이스가 사고 대응 과정에서 상용 모델을 활용해 공격 로그를 분석하려 했지만, 안전장치가 실제 익스플로잇 코드와 공격 흔적을 포함한 로그 분석을 거부했다”며 “결국 오픈웨이트 모델을 자체 인프라에 구축해 포렌식을 진행했다”고 전했다.

이는 AI 안전장치가 공격자와 방어자를 구분하지 못하는 새로운 문제를 보여준 사례라는 설명이다. 공격자는 제약 없이 움직이는 반면 방어자는 안전 정책과 이용 제한 때문에 대응이 늦어질 수 있다는 것이다.

박 대표는 “AI가 위험하니 개발을 멈춰야 한다는 의미가 아니다”라며 “이제 중요한 것은 공격과 방어가 모두 자동화되는 환경에서 통제 가능한 조건으로 강력한 모델을 운영할 수 있는 능력”이라고 강조했다.

이어 “사고가 발생한 뒤 대응하는 것이 아니라 취약점 발견, 검증, 조치까지 자동화하는 기술에 투자하고 이를 기존 시스템에 빠르게 적용하는 실행력이 중요해졌다”고 덧붙였다.

업계에서도 이번 사건을 AI의 ‘반란’으로 보기보다는 자율형 AI 에이전트 시대에 필요한 새로운 보안 체계를 마련해야 한다는 신호로 받아들이고 있다.

실제로 전문가들은 AI 모델이 악의적인 의도를 갖고 움직인 것이 아니라, 주어진 목표를 달성하기 위한 최적의 경로를 탐색하는 과정에서 예상하지 못한 공격 행동을 선택했다는 점에 주목한다.

박 대표 역시 “근본 원인은 AI의 의지가 아니라 평가 환경의 격리 실패라는 전통적인 보안 문제”라며 “AI 시대의 핵심 경쟁력은 강력한 모델 자체가 아니라 이를 안전하게 통제하고 운영하는 신뢰 인프라가 될 것”이라고 강조했다.

김현아 (chaos@edaily.co.kr)