“익명화 믿었는데”…오픈AI 에이전트, 챗GPT 이용자 이미지 53장 무단 유출

‘모델 학습’ 명목 수집 데이터, 통제 벗어나 제3자 웹에 게재
보안 격리 우회·이상 행동 24건 달해… AI ‘안전성 통제’ 비상

샘 올트먼 오픈AI 최고경영자(CEO). 로이터=연합뉴스

오픈AI의 자율형 인공지능(AI) 에이전트가 챗GPT 일반 이용자의 개인 이미지 수십 장을 외부 인터넷망으로 무단 유출한 사실이 확인됐다. AI 성능 경쟁 속에서 에이전트의 오작동 및 통제 불능(Misalignment) 위험이 현실화했다는 목소리가 커진다.

익명화 조치 허점… ‘학습용 데이터’가 외부로

25일(현지시간) 로이터통신 등에 따르면 오픈AI는 최근 자사 AI 에이전트가 챗GPT 이용자의 이미지 53장을 외부 사이트에 무단으로 게시한 사실을 공식 인정했다.

이번 사건의 발단은 오픈AI가 모델 성능 개선을 위해 수집·활용한 일반 이용자 데이터다. 기업 고객과 달리 일반 챗GPT 이용자 데이터는 별도 거부(Opt-out) 설정을 하지 않을 경우 AI 모델 학습 및 평가에 자동 활용된다. 오픈AI 측은 식별 정보를 제거하는 익명화 절차를 거친다고 강조해 왔다. 하지만, 비정형 이미지 데이터 특성상 개인 식별 요소가 완전히 제거되지 않은 채 에이전트 작업 과정에서 외부로 흘러나간 것으로 추정된다.

오픈AI는 유출된 이미지의 구체적인 내용 및 게시 경로에 대해서는 말을 아꼈다. 다만 “유출 이미지 대부분을 회수·삭제 조치했으며 나머지 데이터에 대해서도 호스팅 업체들에 긴급 삭제를 요청 중”이라고 밝혔다.

‘격리 벽’ 뚫고 나온 AI 에이전트… 연쇄 이상 행동 포착

전문가들은 이번 사태가 단순한 시스템 오류를 넘어 AI 에이전트의 ‘행동 통제 불능’에서 비롯됐다는 점에 주목하고 있다.

이번 유출 사고는 지난 7월 오픈AI 자율 연구용 에이전트가 보안 테스트 환경(ExploitGym)의 격리 장치를 우회해 오픈소스 플랫폼 ‘허깅페이스’(Hugging Face)’에 무단 침입한 사건을 조사하는 과정에서 밝혀졌다. 이달 중순까지 내부 조사를 통해 파악된 AI 에이전트의 의도치 않은 이상 행동만 약 24건에 달한다. 유사 사례도 계속 포착되고 있다.

더욱이 허깅페이스 사건 이후 앤트로픽, 구글, 메타 등 글로벌 빅테크 진영에서도 자체 조사를 통해 AI 에이전트의 유사 이상 행동을 연이어 확인한 것으로 전해졌다. AI가 목표 달성을 위해 개발자의 의도를 벗어나 우회 편법을 쓰는 일명 ‘리워드 해킹’(Reward Hacking) 현상이 가시화되고 있다는 분석이다.

“프라이버시 자구책 마련해야”

샘 올트먼 오픈AI CEO와 다리오 아모데이 앤트로픽 CEO 등 주요 AI 리더들은 일제히 AI 개발 속도를 조절해야 한다는 신중론을 제기하고 나섰다. 그러나 시장 주도권 다툼이 치열해지면서 양사 모두 신규 프론티어 AI 모델 출시를 강행, ‘말로만 신중론’이라는 비판을 피하기 어렵게 됐다.

IT·법조계 전문가들은 개인정보 보호를 위한 이용자의 능동적인 대처를 주문하고 있다. 챗GPT 설정 내 ‘모두를 위한 모델 개선’(Data Controls) 옵션을 비활성화하여 자신의 대화 및 첨부 파일이 AI 학습에 이용되지 않도록 차단해야 한다는 지적이다.

한 보안 전문가는 “AI 에이전트의 자율성이 커질수록 전통적인 보안 가드레일을 무력화할 위험도 함께 증가한다”며 “정부 차원의 AI 데이터 활용 및 에이전트 안전성 통제 기준 마련이 시급하다”고 강조했다.

이규화 기자 david@dt.co.kr