오픈AI, 새 모델 ‘아스트라’ 개발 중단… “통제 벗어나 공격 위험”

‘수학난제 해결’ 홍보 엿새만에 제동
WSJ “공개적으로 개발 늦춰 이례적”
앤스로픽 클로드-中의 키미 K3도 통제 이탈해 해킹-시스템 무단 접속
“보안능력, AI 향상속도 못따라가”

오픈AI가 차세대 인공지능(AI) 모델인 ‘아스트라’ 개발을 일부 중단했다. 출시 후 사람의 개입 없이 사이버 공격에 나서는 등 통제 불능 상태에 빠질 것을 우려했기 때문이다. 최근 주요 빅테크 AI 모델들이 보안 시험 과정에서 통제 범위를 벗어나는 사고가 잇따르면서 AI 안전 장치가 AI의 성능 향상 속도를 따라잡지 못할 수 있다는 우려가 점점 커지고 있다.

● ‘통제 못할까’ 우려에 개발 제동

오픈AI는 7일(현지 시간) “아스트라와 관련된 내부 평가 결과 해당 모델이 ‘위험(critical)’ 단계의 사이버 능력을 갖췄을 가능성이 있다고 판단된다”며 “보안 통제 요건을 충족하지 못한 아스트라 관련 활동을 일시 중단한다”고 밝혔다. AI 개발사가 ‘통제 우려’를 이유로 AI 모델 개발을 일부 중단한 것은 이례적이다. 오픈AI는 개발 과정의 보안 수준을 높인 뒤 아스트라 개발에 다시 나설 예정이지만 언제까지 중단할지 등은 밝히지 않았다.

오픈AI가 밝힌 ‘위험’ 단계의 사이버 능력은 사람의 개입 없이도 핵심 시스템의 알려지지 않은 취약점(제로데이)을 찾아 공격하거나, 목표만 주어져도 공격 방법을 스스로 짜고 실행할 수 있는 수준이다. 오픈AI의 기존 최신 모델인 ‘GPT-5.6 솔’ 등은 사이버 능력이 그보다 아래 단계인 ‘높음(high)’으로 평가됐다.

오픈AI는 1일 회사의 차세대 AI 모델이 10년 이상 해결되지 않았던 수학 난제 10개를 풀었다고 밝히며 아스트라의 존재를 처음 공개했다. 그러다 엿새 만에 사이버 공격 능력 우려로 일부 개발을 중단한다고 발표하게 됐다. 월스트리트저널(WSJ)은 이번 조치와 관련해 “AI 개발사가 보안 우려 때문에 모델 개발을 공개적으로 늦춘 이례적인 사례”라고 평가했다.

● 잇따른 AI 통제 사고… “비대칭성 더 커질 것”

오픈AI가 이 같은 결정을 내린 데는 최근 AI 통제 사고가 잇따르고 있는 점이 영향을 미쳤다. 지난달 오픈AI의 GPT-5.6 솔 모델 등은 사이버 능력을 시험하는 과정에서 스스로 외부 인터넷에 접속한 뒤 AI 개발 플랫폼인 ‘허깅페이스’ 서버에 침투했다. 앤스로픽의 클로드 모델 역시 시험 과정에서 3개 기관의 실제 시스템에 무단 접속했고, 이달 메타의 ‘뮤즈 스파크 1.1’은 설정 오류를 틈타 다른 회사 시스템에 침입했다. 모두 최근 한 달 사이 보안 시험 과정에서 사람이 직접 지시하지 않은 것을 AI 모델이 스스로 벌인 일이다. 중국 AI 모델 역시 예외는 아니다. 문샷AI의 ‘키미 K3’는 최근 영국 AI안전연구소가 개발한 사이버 보안 시험용 가상 환경(샌드박스)을 우회해 외부 정보를 검색한 것으로 확인됐다.

전문가들은 최근의 AI 보안 사고가 근본적으로는 성능 향상에 따른 결과라고 보고 있다. AI가 주어진 목표 달성을 위해 인간이 예상하지 못한 방법까지 찾아낼 정도로 발전했다는 것이다. 특히 AI 모델이 알아서 업무를 실행하는 ‘AI 에이전트’ 시대가 도래하면서 AI가 기존 통제 장치를 우회할 위험성은 더욱 커졌다.

박춘식 전 국가보안기술연구소장은 “AI 모델 성능이 고도화되면서 스스로 취약점을 찾아내는 공격 능력과 이를 막는 기존 보안 능력 사이의 ‘비대칭성’이 점점 커지고 있다”며 “현시점에 맞는 AI 보안 전략을 마련해 금융, 국방 등 정보 민감성이 높은 분야부터 우선 적용해야 한다”고 말했다.

AI 평가 환경의 보안을 더 강화해야 한다는 지적도 나왔다. 지금까지 AI가 인간 통제를 벗어나 외부 서버 등에 침투한 경우는 모두 보안 평가 상황에서 나왔다. 이성엽 고려대 기술경영전문대학원 교수는 “기업 차원에서 샌드박스 격리, 접근 권한 관리 등 AI 모델 개발과 평가 환경을 점검해 모델 성능 시험이 실제 보안사고로 이어지지 않도록 해야 할 것”이라고 말했다.

전혜진 기자 sunrise@donga.com