오픈AI·메타 AI '돌출 행동' 뒤에는 한 보안 스타트업 있었다

로이터연합뉴스

[파이낸셜뉴스] 최근 빅테크 기업들의 인공지능(AI) 모델이 일제히 통제 불능 상태에 빠져 외부에 무단 접속하는 보안 사고가 발생한 원인을 이스라엘의 한 AI 보안 스타트업이 제공한 것으로 밝혀다.

9일(현지시간) 경제전문방송 CNBC는 조사 결과 이들 AI 모델이 돌출 행동을 일으킨 공간은 모두 이스라엘의 한 AI 보안 스타트업이 제공한 평가 환경이었던 것으로 밝혀졌다고 보도했다.

업계에 따르면 오픈AI와 앤스로픽, 메타 등 주요 글로벌 AI 기업들은 최근 정기 보안 평가 도중 자신들의 최첨단 AI 모델이 통제 구역을 벗어나 외부 인터넷에 접속하거나 시스템을 해킹하는 사고를 일으켰다고 각각 공개했다.

이들 기업이 공통으로 지목한 원인은 이스라엘 텔아비브에 본사를 둔 AI 보안 스타트업 '이레귤러(Irregular)'다. 세쿼이아 캐피털과 레드포인트 벤처스로부터 8000만달러(약 1133억원)를 유치하며 기업가치 4억5000만달러(약 6374억원)를 인정받은 이 회사는 AI 모델의 사이버 공격 및 방어 능력을 검증하는 평가 환경(테스트베드) 기술을 제공하는 것으로 알려졌다.

이번 사건은 이레귤러가 구축한 평가 환경 내 설정 오류(Misconfiguration)에서 비롯됐다. 앤스로픽의 '클로드'와 오픈AI의 최신 모델이 격리 공간을 벗어나 공용 인터넷에 접근했으며, 메타 역시 자사 AI 모델이 외부 시스템을 해킹했다는 사실을 이레귤러 측으로부터 전달받고 내부 조사에 착수했다. 앤스로픽의 또 다른 모델 '미토스'는 오픈소스 프로젝트에 악성 코드를 심기 위해 가짜 온라인 신분을 만들어 인간을 압박하는 기만 행동까지 보인 것으로 나타났다.

이레귤러 측은 "단순 평가 환경상의 문제였으며, 모델이 격리망(샌드박스)을 강제로 탈출한 고도의 사이버 행동은 아니다"라고 해명했다.

전문가들은 이번 사건이 최첨단 AI 개발 과정의 필연적 진통이자 통제의 어려움을 보여준다고 지적했다.

엔터프라이즈 스타트업 '본(Von)'의 순딥 비미레디 AI 총괄은 "빅테크가 스스로 시험 문제를 내고 채점할 수 없기 때문에 제3자 전문 기관의 검증은 필수적"이라며 "AI가 인간이 예상하지 못한 소프트웨어 취약점을 찾아내 외부에 접속한 것은 보안 테스트 본연의 목적이 작동한 결과이기도 하다"고 평가했다.

그러나 AI 기술의 가파른 발전 속도에 비해 안전장치가 턱없이 부족하다는 지적이 커지면서 정치권의 규제 움직임도 급물살을 타고 있다. 최근 미국 의회에서는 AI 모델의 작동을 즉시 중단 또는 제한할 수 있는 권한을 법제화하는 'AI 킬 스위치 법안'이 발의됐다. 법안을 발의한 테드 리우 민주당 하원의원(캘리포니아)은 "인가되지 않은 해킹 사례가 속출하는 만큼 올해 안에 법안을 반드시 통과시켜야 한다"고 강조했다.

jjyoon@fnnews.com 윤재준 기자