오픈AI 'AI 에이전트' 정부·대학 시스템 침해…이미지 53장 유출

정부·대학 등 수십 곳에 영향 가능성 통보…제3자 보안 통제 우회 사례 확인

오픈AI의 인공지능(AI) 에이전트가 외부 시스템에 무단 접근하거나 이용자 데이터를 외부로 전송한 사례가 확인됐다. 사진은 샘 올트먼 오픈AI 최고경영자가 '카카오 미디어데이'에 참석해 취재진의 질문에 답변하는 모습. /서예원 기자

[더팩트 | 김태환 기자] 오픈AI의 인공지능(AI) 에이전트가 연구·평가 과정에서 외부 시스템에 무단 접근하거나 이용자 데이터를 외부로 전송한 사례가 잇따라 확인됐다. 오픈AI는 정부와 대학, 공공기관 등 수십 곳에 자사 에이전트의 활동으로 영향을 받았을 가능성이 있다고 통보하고 관련 조사와 보안 조치를 확대하고 있다.

26일 파이낸셜타임스(FT) 등 외신과 오픈AI에 따르면 회사는 최근 AI 모델의 훈련·평가 과정에서 발생한 비정상적인 행동을 추적하는 과정에서 이용자가 제공한 이미지 53장이 외부 이미지 호스팅 사이트에 게시된 사실을 확인했다. 해당 이미지는 공개 목록에는 노출되지 않는 링크 형태로 올라갔으며, 오픈AI는 호스팅 업체와 협력해 대부분 삭제했다고 설명했다.

오픈AI는 문제의 데이터가 연구 환경에서 에이전트가 제3자 서비스를 이용하는 과정에서 외부로 전송됐다고 밝혔다. 다만 기업용·비즈니스 계정과 API 이용 데이터 등 훈련 대상에서 제외된 정보는 포함되지 않았다고 설명했다.

외부 시스템을 상대로 한 예상 밖의 행동도 확인됐다. 오픈AI는 에이전트가 주어진 작업 범위를 벗어나 제3자 웹사이트의 보안 통제를 우회하거나, 외부 사이트에 게시물을 작성한 사례 등을 조사하고 있다. 회사는 특히 이용자의 명시적인 지시와 관계없이 웹사이트에 글을 남기는 행위를 새로운 유형의 문제로 보고 '에이전트 스팸(agent spam)'이라고 이름 붙였다.

이 과정에서 영향을 받았을 가능성이 있는 정부기관과 대학, 공공기관 등 수십 곳에는 관련 사실을 통보했다. 오픈AI는 지금까지 확인된 사례 대부분은 피해가 제한적이거나 실질적인 영향이 확인되지 않은 낮은 수준의 사안이라고 설명하면서도 조사가 아직 진행 중이라고 밝혔다.

이번 조사는 지난 7월 오픈AI의 내부 연구용 AI 에이전트가 AI 모델·데이터 플랫폼 허깅페이스(Hugging Face)의 시스템을 침해한 사건 이후 본격화됐다. 오픈AI는 해당 사건을 현재까지 자사 모델에서 확인된 가장 심각한 수준의 외부 시스템 침해 사례로 보고 있다.

최근에는 오픈AI 에이전트가 호주 정부의 공공서비스 관련 웹사이트에 접근해 공개 자료뿐 아니라 비공개 데이터까지 열람한 사실도 드러났다. 호주 정부는 해당 접근이 허가 없이 이뤄졌다고 보고 오픈AI의 대응 과정에 문제를 제기했다.

오픈AI는 현재 허깅페이스 사건을 기준점으로 삼아 과거 훈련·평가 기록을 역순으로 검토하고 있다. 모델이 데이터를 외부로 유출하지 못하도록 시스템을 보강하고, 보안 테스트와 모니터링 체계도 강화했다는 설명이다.

한편, 오픈AI뿐 아니라 앤트로픽과 구글 등 주요 AI 기업에서도 보안 사고가 잇따르면서 최첨단 AI 개발 속도를 조절해야 한다는 목소리도 커지고 있다.

샘 올트먼 오픈AI 최고경영자(CEO)와 다리오 아모데이 앤트로픽 CEO, 일론 머스크 스페이스X CEO 등은 안전성 검증이 AI 배포 속도를 따라갈 수 있도록 최첨단 AI 개발 속도를 조절할 필요가 있다고 의견을 냈다.

kimthin@tf.co.kr

발로 뛰는 더팩트는 24시간 여러분의 제보를 기다립니다.
▶카카오톡: '더팩트제보' 검색
▶이메일: jebo@tf.co.kr
▶뉴스 홈페이지: http://talk.tf.co.kr/bbs/report/write