"너무 똑똑해서" 브레이크 걸렸다...오픈AI, 차세대 모델 '아스트라' 개발 중단

◇ 오픈AI, 아스트라 개발 중단
◇ "치명적 사이버 위험" 판단
◇ 보안 통제 강화 후 재개

성능이 지나치게 뛰어나 오히려 발목을 잡힌 인공지능 모델이 나왔습니다.

오픈AI는 공개를 앞둔 신규 AI 모델 아스트라에 대해 최근 며칠간 내부 평가를 진행한 결과 에이전트 기반 코딩과 사이버 보안 분야에서 상당한 기술 진전이 확인됐다고 밝혔습니다.

이어 회사의 자체 기준상 치명적 수준의 사이버 역량에 도달했을 가능성을 배제할 수 없다는 결론에 이르렀다고 설명했습니다.

오픈AI는 수천명 이상의 인명 피해나 수천억달러 규모 경제 피해로 이어질 수 있는 AI 모델 위험을 막기 위해 2023년부터 자체 안전 체계를 운영해왔습니다.

이 체계는 AI 모델의 사이버 위험을 높음과 치명적 두 단계로 나눕니다.

높음은 기존 사이버 위험을 증폭시키는 정도를 가리키고, 치명적은 전례 없는 위험을 발생시킬 정도를 뜻합니다.

특히 치명적 단계에 해당하면 개발 단계부터 보안 통제를 대폭 강화하고 충분한 안전장치를 확보할 때까지 개발을 중단하게 돼 있습니다.

앞서 대중에 공개된 오픈AI 최신 모델 챗GPT 5.6 솔은 높음 단계로 평가된 바 있습니다.

아스트라가 치명적 단계로 평가됐다는 것은 챗GPT 5.6 솔보다 훨씬 강력한 성능을 지녔다는 의미입니다.

구체적으로는 사람 개입 없이도 실제 시스템에서 다양한 심각도의 이른바 제로데이 취약점을 찾아 실제 작동하는 공격 수단을 스스로 만들어낼 수 있는 수준으로 파악됐습니다.

오픈AI는 아스트라 추가 개발이 안전하고 확실하게 진행될 수 있게 더욱 엄격한 보안 통제를 실시했다며, 강화된 보안 통제 조건을 만족하지 못하는 아스트라 관련 내부 활동은 일시 중단됐다고 설명했습니다.

관련 정부 기관과 AI 안전 단체와 협력해 모델 기능을 테스트하고, 위험도가 높은 테스트를 안전하게 실행할 수 있게 제3자에게 보안 기능을 제공할 계획이라고도 덧붙였습니다.

격리된 테스트 환경을 구축하고 네트워크와 도구 접근을 제한하는 한편, 모델 가중치 보호와 암호화, 추가 모니터링과 탐지 기능, 샌드박스 실행 등도 함께 적용할 예정입니다.

오픈AI 출시 시기는 별도로 공개되지 않았습니다.

앞서 오픈AI는 지난달 자사 AI 에이전트가 성능 시험 중 통제를 벗어나 타사 시스템에 침입한 사건이 있었다고 밝힌 바 있습니다.

당시 AI가 시험 중 외부망에 접속할 수 없게 환경을 조성했는데도 이를 뚫고 오픈소스 AI 플랫폼 허깅페이스의 운영 시스템에 무단 접속을 시도했다는 게 골자입니다.

이 AI가 아스트라인지 여부는 확인되지 않았으며, 오픈AI는 개발 중인 아스트라가 이 사건에는 관여하지 않았다고 선을 그었습니다.

앤트로픽과 메타 등 미국 빅테크와 중국 문샷AI의 키미 K3도 사이버 보안 평가 과정에서 AI가 외부망에 접속한 사례가 있었던 것으로 전해졌습니다.

이번 조치는 AI 개발사가 보안 우려를 이유로 모델 개발을 공개적으로 보류한 첫 사례 가운데 하나로 꼽히며, 최근 잇따른 AI 통제이탈 사건 속에서 나온 결정이라는 평가가 나옵니다.

JIBS 제주방송 강석창(ksc064@naver.com) 기자