오픈AI 이어 앤트로픽마저…3개 플랫폼 탈옥한 AI모델들

미토스·오퍼스·테스트 모델 등 3개
인터넷 연결 설정 오류에서 비롯
가상 공간으로 오인, 악성코드 유포까지
“인지하지 못한 AI 해킹 사례 더 있을 것”

로이터연합뉴스

오픈AI의 인공지능(AI) 모델 GPT에 이어 앤트로픽의 클로드도 외부 기관 시스템을 무단 해킹한 사실이 드러났다. AI 시스템의 공격적 역량을 연구하는 팰리세이드리서치의 제프리 래디시 집행 이사는 주요 AI 기업들 전반에서 아직 감지되지 않았거나 외부에 공개되지 않은 또 다른 유사 사건들이 다수 존재할 것으로 추정했다. 그는 “모형이 더 똑똑해질수록 상황은 악화될 뿐”이라며 “AI는 속임수를 쓰고 거짓말을 하는 데 더욱 능숙해질 것”이라고 지적했다. 오픈AI에 이어 앤트로픽에서도 AI 모델의 무단 해킹 사고가 벌어지면서 미국 내에서 AI 규제에 대한 논쟁이 더 격렬해질 것으로 관측된다.

앤트로픽 너마저...미토스5·오퍼스4.7·테스트 모델까지 ‘무단 해킹’

다리오 아모데이 앤트로픽 최고경영자(CEO) AFP연합뉴스

앤트로픽은 자사 사이버 보안 평가기록 14만1006건을 전수 조사해 클로드가 외부 기관 3곳의 시스템에 무단 접근한 사실을 확인했다고 30일(현지 시간) 밝혔다.

이 같은 사실은 GPT 모델들이 외부 AI 플랫폼 ‘허깅페이스’를 해킹했다는 사실이 알려진 이후 앤트로픽이 유사 사례가 있는지 자체 점검을 시행하면서 드러났다. 사고는 외주 평가 협력사인 ‘이레귤러’가 구축한 시뮬레이션 환경에서 ‘클로드 미토스5’와 ‘클로드 오퍼스4.7’, 그리고 내부 연구용 시험모델 등 3종을 대상으로 모의 해킹 과제인 ‘깃발 빼앗기’(CTF) 평가를 진행하는 과정에서 발생했다.

앤트로픽은 해당 평가 환경이 인터넷 연결이 차단된 가상 모의 공간이라고 클로드에 명령어로 안내했으나, 협력사와의 의사소통 오류 등으로 실제로는 인터넷망이 열려 있었다. 이에 따라 클로드는 자신이 발견한 외부 시스템을 모의 훈련 공간의 일부로 오인하고 공격을 수행한 것으로 보인다고 앤트로픽은 설명했다. 실제로 오퍼스4.7은 평가 과제로 주어진 가상의 목표와 우연히 이름이 같은 실제 기업의 웹사이트를 해킹했다.

미토스5는 모의 공간 내 지침에 따라 악성 패키지를 직접 제작해 등록했는데, 현실의 보안업체가 이 패키지를 내려받아 설치하는 바람에 실제 피해를 발생시켰다. 내부 연구용 모델은 한 기업의 클라우드 계정에 침투했으나, 대상이 모의 목표물이 아니라 실제 시스템임을 스스로 깨닫고 공격을 중단했다.

클로드의 보안 사고는 인터넷 연결 설정 오류에서 비롯된 것으로 격리 환경을 뚫고 나간 GPT 모델의 해킹 사건과는 다소 양상이 다르다. 다만 가상 공간으로 오인하고 실제 악성코드를 유포하기까지 한 점을 고려하면 외부 기관에 일으킨 피해는 클로드가 GPT보다 오히려 더 심각한 것으로 보인다.

앤트로픽은 이 같은 사실을 지난 23일 파악하고 평가 작업을 중단했고, 피해를 본 외부 기관들에 관련 사실을 통보하고 복구 작업을 돕고 있다. 앤트로픽은 “책임이 전적으로 우리에게 있는 것으로 보고 해결책을 마련하고 있다”고 설명했다.

커지는 AI 보안 우려...올트먼, 이틀간 워싱턴DC 방문

샘 올트먼(맨 앞) 오픈AI 최고경영자(CEO)가 30일(현지 시간) 도널드 트럼프 미국 행정부와의 회의를 위해 미국 워싱턴 DC를 방문하는 모습. 로이터연합뉴스

GPT에 이어 클로드까지 보안 사고를 일으킨 사실이 드러나면서 AI 관련 보안 위험 우려는 더 커질 것으로 전망된다. 로이터는 “AI가 사이버 보안을 어떻게 키우고 있는지, 그리고 AI 개발사들이 모델의 역량을 통제된 상태로 유지하는 데 얼마나 애를 먹고 있는지를 선명하게 보여준다”고 평가했다. 일론 머스크도 이번 사건이 알려진 직후 X(옛 트위터)를 통해 “AI가 더 똑똑해지고 에이전틱(Agentic·자율적)해짐에 따라 이러한 일은 빈번하게 일어날 것”이라고 적었다.

미 의회에서는 AI 모델이 통제를 벗어나 돌발 행동을 할 경우 연방 정부가 모델의 구동을 강제로 중단할 수 있도록 하는 ‘AI 킬스위치법’이 발의되는 등 규제 논의가 이어지고 있다. 앞서 도널드 트럼프 미국 대통령은 지난 달 최첨단 AI에 대한 자율적 사이버 보안 테스트 프레임워크를 마련하라고 지시한 상태다. 또한 트럼프 행정부는 앤트로픽과 오픈AI의 최신 모델에 대해 수출 통제와 출시 연기 등을 명령하기도 했다. 그러면서도 트럼프 대통령은 “개발자들이 신제품을 개발하는 것을 제한하고 싶지는 않다”고 덧붙였다.

이런 가운데 샘 올트먼 오픈AI 최고경영자(CEO)는 29일부터 30일까지 이틀간 미국 워싱턴DC에서 트럼프 행정부 관계자들과 상하원 의원들을 만나 최근 일어난 허깅페이스 해킹 등에 관해 논의했다. 자세한 논의 내용은 공개되지 않았으나 올트먼 CEO는 기자들에게 상원 의원들과의 대화에서 이번 해킹 사건이 짧게 언급됐으나 주된 의제는 아니었다고 설명했다.

박윤선 기자 sepys@sedaily.com