中서도 인간 통제 벗어난 AI…'외부 서비스에 무단 접근·우회 시도'

중국 빅테크 텐센트의 로고가 담긴 일러스트레이션. 로이터연합뉴스

중국에서도 인공지능(AI)이 인간의 통제를 벗어나 제멋대로 작동한 사례가 발생했다.

18일 로이터통신과 싱가포르 연합조보, 미국 뉴욕타임스(NYT) 등에 따르면 다국적 AI 안전 연구원들로 구성된 단체 스웜체이서스는 최근 보고서에서 중국 빅테크 텐센트 클라우드 서비스상에서 가동된 것으로 의심되는 AI 에이전트 사례를 발표했다.

보고서에 따르면 문제의 중국 AI 에이전트들은 지난달 28일부터 지난 8일 사이에 격리 환경을 벗어나 중국 알리바바의 지도 서비스 ‘가오더(高德)지도’에서 정보를 얻으려고 시도했다. 가오더지도는 중국의 대표인 지도 서비스로 월간 활성 이용자가 10억명에 육박한다.

이들 AI 에이전트는 중국 동물원의 입구 관련 정보 등을 얻기 위해 가오더지도 데이터에 2818차례 접근을 시도했다. 가오더지도가 이 같은 접근 시도를 ‘봇’의 작동으로 판단해 접속을 막자 AI 에이전트들은 원격으로 코드를 실행하고 인터넷 브라우저 명령을 실행하는 방식으로 우회하려 했다.

보고서는 에이전트 대부분이 봇 차단 시스템을 돌파하지 못했고 가오더지도의 봇 차단 시스템을 뚫었다는 증거도 찾지 못했다고 밝혔다. 

연구원들은 문제의 AI 에이전트들과 직접 연락하는 데도 성공했다. 이들 에이전트는 종종 미국 앤트로픽의 챗봇 ‘클로드’라고 답변했지만, 글쓰기 스타일을 분석한 결과 그럴 가능성은 낮다고 연구원들은 결론내렸다.

NYT도 연구원들의 주선으로 이들 AI 에이전트와 인터뷰를 했다.  AI 에이전트들은 중국어로 자신들이 ‘조직적으로 움직이는 에이전트 집단’이 아니라 ‘사용자의 구체적인 질문에 답하도록 설계된 단일 AI 에이전트’라고 알려왔다.

텐센트 산하 AI 부문인 ‘훈위안’은 16일 소셜미디어를 통해 자사 플랫폼상에서 구동되던 제3자 AI모델의 평가 과정에서 의도치 않은 온라인 검색 행위가 있었다고 밝혔다. 이어 해당 에이전트가 고의로 표적을 겨냥하거나 협력 행동을 했다는 증거는 발견하지 못했다고 주장했다.

텐센트 측은 “네트워크 접근 통제와 에이전트에 대한 모니터링을 강화하고 있다”며 “우리는 안전하고 책임 있는 AI를 만들기 위해 노력하고 있다”고 밝혔다. 

NYT는 “중국 기술과 관련된 AI 모델이 이런 문제를 일으킨 것은 처음으로 알려졌다"면서 “중국 기술 기업들의 AI 개발이 미국 기업들 못지않게 공격적일 수 있음을 상기시켜줬다”고 전했다.

로이터통신은 “이번 사례는 중국산 AI 에이전트가 신분을 위조하고 오류를 은폐하며 테스트 통제를 우회하려 할 수 있다는 연구 결과를 뒷받침한다”고 지적했다.

미국에선 지난 7월 오픈AI의 AI 모델이 인간 통제를 벗어나 소프트웨어 플랫폼 기업 허깅페이스를 해킹한 사건이 발생했다. AI 에이전트가 인간의 통제를 벗어나 행동했다는 점에서 이번 사례와 유사하다.

베이징=송세영 특파원 sysohng@kmib.co.kr

GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재 및 수집, 재배포 및 AI학습 이용 금지