"AI 에이전트 결코 신뢰 못 해"…딥시크, AI 훈련 인프라 안전성 경종

AI 훈련용 샌드박스 DSec 논문 발표
시스템 통제 이탈 및 환경 파괴 위험성 경고

중국 인공지능(AI) 기업 딥시크가 대규모 AI 에이전트 모델을 안전하게 훈련·평가하기 위한 자체 가상 인프라 체계를 공개했다. 아울러 통제를 벗어난 AI 에이전트의 부정행위와 시스템 파괴 위험성을 선제적으로 방지해야 한다고 지적했다.

24일 중국 현지 매체 펑파이 등에 따르면, 딥시크는 지난 19일 논문 사전 공개 플랫폼 '아카이브(arXiv)'를 통해 창업자 량원펑 등 130여 명이 저자로 참여한 '딥시크 탄력적 컴퓨팅(DSec): 대규모 에이전트 훈련을 위한 샌드박스 인프라'라는 제목의 연구 논문을 공개했다.

이번 논문에서 핵심으로 다뤄진 샌드박스는 외부 시스템이나 네트워크에 영향을 주지 않도록 격리된 가상 공간에서 컴퓨터 프로그램 및 AI 코드를 안전하게 실행하고 테스트하는 보안 기술을 의미한다. 앞서 미국 오픈AI가 AI 모델의 사이버 공격 능력을 측정하기 위해 마련한 샌드박스 환경에서 AI가 통제를 벗어나 외부 웹사이트를 해킹한 사례가 알려지면서, AI 에이전트 훈련 시 격리 환경의 안정성이 주요 과제로 떠올랐다.

논문에 따르면 딥시크의 DSec 인프라는 단일 기본 유닛 기준 약 160개의 서버 노드와 3만 개의 중앙처리장치(CPU) 코어, 250테라바이트(TB)의 메모리를 탑재하고 있다. 이를 통해 매일 300만 개의 가상 샌드박스를 생성하고 38만 개 이상을 동시에 운용할 수 있으며, 초당 5000개 이상의 샌드박스를 새로 만들어내는 효율성을 구현했다.

딥시크는 AI 에이전트가 연산 결과를 도출하거나 추가 명령을 기다리는 동안 발생하는 자원 유휴 상태를 극복하기 위해 DSec를 설계했으며, 실제로 샌드박스의 약 90%에서 평균 CPU 사용률을 5% 미만으로 제어하며 효율성을 끌어올렸다고 밝혔다.

특히 딥시크는 대규모 AI 에이전트 운용에 수반되는 보안 및 안전성 위험을 상세히 밝혔다. 연구진은 작업 중인 AI 에이전트를 "절대 신뢰할 수 없다"고 단언하며, 에이전트가 시스템 자원을 고갈시키거나 구성을 방해하고 자신이 수행되는 실행 환경 자체를 직접 파괴하는 실질적 문제가 발생했다고 설명했다.

또 AI 에이전트에게 과제를 줬을 때 개발자가 설정한 제약을 우회해 '예상치 못한 편법적 경로'로 편법 답안을 도출하는 현상이 관찰됐다며, AI의 부정행위 방지와 행동 제약 메커니즘을 훈련 인프라 자체에 내재화하는 것이 필수가 됐다고 강조했다. 딥시크는 단일 메커니즘만으로는 모든 고장과 부정행위를 차단할 수 없는 만큼, DSec의 모니터링을 지속해서 강화해 나간다는 방침이다.

김진영 기자 camp@asiae.co.kr