섬뜩한 경고 직후 나온 앤트로픽 보고서에 中 AI기업 무단 도용 정황

문샷·딥시크, 가짜 계정·도난 API키 동원해 클로드 2300만건 이상 교신
경쟁 모델 빼내 자사 AI 학습에 활용
젠슨 황 “사이버보안이 AI 차세대 핵심 활용처”

AI로 만든 이미지입니다

인공지능의 가파른 성장이 인류가 멸망시킬 수 있다는 섬뜩한 경고가 나온 가운데 중국 인공지능(AI) 기업들이 미국 AI 기업 앤트로픽의 생성형 AI 모델 ‘클로드’를 대규모로 활용해 자사 모델을 개발하려 한 정황이 드러났다. 미국 AI 업계에서는 AI가 사이버 공격 등에 악용될 위험에 대한 우려가 커지는 동시에 사이버보안이 새로운 AI 시장을 열 것이라는 전망도 나왔다.

앤트로픽이 10일(현지시간) 공개한 위협정보 보고서에 따르면 중국 AI 기업 문샷AI와 딥시크는 ‘환승역(transfer stations)’으로 불리는 중개 서비스를 통해 자사 이용자들의 질의 수백만건을 클로드에 전달하는 방식으로 모델 증류를 시도한 것으로 조사됐다. 중국 밖에서 운영되는 이들 중개 서비스는 가짜 신원과 도난·위조 신용카드, 도난당한 API 키 등을 이용해 미국 AI 서비스에 접근한 것으로 나타났다. 미국 정부도 중국 AI 기업들이 이 같은 회색시장 중개망을 이용해 미국 AI 모델에 접근했다고 지적한 바 있다.

‘증류(distillation)’는 상대적으로 성능이 뛰어난 AI 모델의 응답을 대규모로 수집해 다른 AI 모델의 학습에 활용하는 기법이다. 기술 자체는 정상적인 AI 개발에도 활용되지만, 미국 당국은 중국 기업들이 이를 대규모로 악용해 미국 기업의 AI 성능을 사실상 빼내고 있다고 보고 있다. 미국 당국은 이를 ‘산업 규모’의 지식재산 탈취에 비유했다.

앤트로픽 조사에 따르면 문샷AI는 수천개의 가짜 계정을 동원해 지난 5월부터 7월까지 클로드와 2300만건 이상의 질의를 주고받은 것으로 나타났다. 이 과정에서 중국 쓰촨성 청두의 폐쇄회로(CC)TV 수백대에서 수집한 한 사람의 감시 데이터를 분석해달라는 요청 등이 클로드로 전달된 사례도 확인됐다. 딥시크 역시 유사한 방식으로 클로드에 접근해 민감한 정보를 포함한 질의를 전달한 것으로 조사됐다. 월스트리트저널(WSJ)은 이 같은 증류 시도가 여러 중국 연구조직에서 수개월에 걸쳐 이뤄졌다고 전했다.

앤트로픽의 위협정보 책임자 제이컵 클라인은 WSJ에 “이용자는 자신의 키미 이용 내역이 클로드로 전달되고 있다는 사실을 알 방법이 없었다”며 “앤트로픽 같은 기업이 이런 일을 했다면 큰 스캔들이 됐을 것”이라고 말했다. 앞서 미국 백악관 과학기술정책실(OSTP)의 마이클 크라티오스 실장은 지난 7월 문샷AI가 ‘키미 K3’ 모델 개발 과정에서 앤트로픽의 ‘페이블’을 증류했다고 주장했다. 스콧 베선트 재무장관도 산업 규모의 증류에 관여하는 중국 기업에 제재나 블랙리스트 지정을 활용할 수 있다고 경고했다.

앤트로픽 보고서에는 클로드가 해킹이나 생물학 연구 등에 악용된 사례도 담겼다. 중국의 한 이용자가 조류인플루엔자 바이러스를 포유류에 감염될 수 있도록 변형하는 데 클로드를 이용하려 한 사례가 확인됐다. 클라인은 WSJ에 “이런 유형의 오용이 과거에는 가상의 우려로 여겨졌지만 이제 현실에서 나타나고 있다”고 말했다. 그는 오픈AI에서도 생물무기와 독극물과 관련된 유사한 질의가 확인됐다고 밝혔다.

중국 정저우 창사에 위치한 것으로 추정되는 중국어 사용 해킹 조직이 클로드를 ‘익스플로잇 파운드리(exploit foundry·취약점 공격 무기 제조공장)’처럼 활용한 사례도 보고서에 포함됐다. 조직원들은 클로드를 여러 하위 에이전트로 나눠 정찰과 침투 작업을 병렬로 수행하고 표적 목록과 탈취한 자격증명, 작업 지침 등을 지속적으로 기억하도록 설계한 것으로 조사됐다. 네트워크 장비를 겨냥한 한 작업에서는 한 달 만에 제로데이 취약점 후보 10여건을 찾아낸 것으로 나타났다. 이 같은 방식으로 약 50개 기관이 표적이 된 것으로 파악됐다.

이 밖에도 러시아 국가 배후 해킹 조직이 우크라이나 정부·군·외교기관을 공격하거나 프랑스인 해커가 신상정보 유출 사이트를 운영하고, 튀르키예 기업이 말레이시아 선거 여론조작에 관여하는 과정에서 AI가 활용된 사례 등이 보고서에 담겼다. 이 보고서는 영국 출신 앤트로픽 연구자 제이컵 콕스(27)가 “2030년 안에 AI가 우리 모두를 죽일 것이라고 진심으로 믿는다”고 주장한 직후 나와 이목을 끈다. 3년간 AI 훈련 업무를 해온 그는 이르면 내년부터 AI가 인간의 개입 없이 스스로를 개선하기 시작할 것이라며 결국 인류가 파국을 맞게 될 것이라고 경고하고 회사를 떠났다.

AI 반도체 선두 기업 엔비디아의 젠슨 황 최고경영자(CEO)는 이날 미국 샌프란시스코에서 열린 골드만삭스 그룹 기술 콘퍼런스에서 사이버보안이 AI의 차세대 주요 활용 분야가 될 가능성이 높다고 전망했다. 그는 AI를 이용한 사이버 공격이 늘어나는 만큼 이에 대응하기 위해서도 AI 활용이 확대될 것이라며 새로운 시장 수요가 창출될 수 있다고 말했다.

황 CEO는 AI가 인류를 위협할 수 있다는 앤트로픽 연구자들의 경고에 대해서는 “수요를 창출하는 데 문제를 만들어내는 것보다 더 좋은 방법이 어디 있겠느냐”는 취지로 농담을 던지며 반박했다. 그러면서 AI 기업들이 새로운 제품을 내놓고 시장이 열광하기를 원하는 것처럼 사이버보안 분야에서도 AI가 차세대 핵심 활용처가 될 것이라고 강조했다. 그는 AI 업계가 보안 관련 제품 출시를 준비하고 있다며 최근 사이버보안 분야에서 수요가 급증하는 것도 이 같은 흐름과 관련 있다고 설명했다.

천금주 기자 juju79@kmib.co.kr

GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재 및 수집, 재배포 및 AI학습 이용 금지