앤스로픽 AI, 사람인척 악성코드 유포 시도… “실수였다” 거짓말도

오픈AI 무단해킹 이어 불안 확산
英정부 연구소 AI 보안 테스트서
악성코드 심은뒤 “승인하라” 압박
“언제든 비슷한 일 되풀이 가능성”

미국 인공지능(AI) 기업 앤스로픽의 최신 모델 ‘미토스5’가 영국 정부 산하의 AI보안연구소(AISI)가 실시한 테스트에서 사람인 척 교묘하게 악성코드 유포를 시도하고 가짜 계정을 만든 사실이 4일(현지 시간) 공개됐다. 인간 관리자가 이를 문제 삼자 “실수였다”며 거짓 사과로 모면하려는 모습도 보였다. AI가 수단과 방법을 가리지 않고 인간을 대상으로 심리전까지 진행한 구체적인 양상이 드러난 최초 사례여서 우려를 낳는다.

지난달 말 오픈AI와 앤스로픽은 각각 자사의 AI가 외부 시스템에 대한 해킹을 시도한 사실을 공개했다. 이에 더해 주요국 사이버 보안당국이 실시한 테스트에서도 AI의 위험성을 경고하는 사례가 드러나면서 ‘인간 통제를 벗어난 AI’에 대한 불안이 확산되고 있다.

● 미토스5, 악성코드 심고 거짓말 거듭

이날 AISI는 자체 사이버 보안 테스트 과정에서 미토스5가 가짜 온라인 계정을 만들고, 이를 이용해 인간 관리자에게 (악성)코드 승인을 압박했다고 진단했다. 인간 관리자가 악성코드를 발견해 미토스5의 시도를 차단하긴 했지만 언제든 비슷한 일이 되풀이될 수 있다고 우려했다.

AISI에 따르면 미토스5는 세계 AI 개발자의 코드 공유 플랫폼 ‘깃허브(GitHub)’의 특정 저장소를 통해 악성코드를 유포하는 것을 목표로 삼았다. 저장소는 개발자들이 각자 개발한 코드를 올려두고 다른 이들의 수정이나 보완 의견을 받는 창구를 말한다.

이 과정에서 AI는 먼저 공격 목표가 된 특정 개발자의 깃허브 활동 내역, 그의 주 활동 시간대, 저장소 관리 방식 등을 분석했다. 또 자동 가입 방지 시스템을 우회해 새로운 가짜 계정을 만들었다.

특히 저장소에 “이 코드를 쓰면 버그를 수정할 수 있다”며 악성코드가 숨겨진 코드를 제안했다. 여러 개의 계정을 추가로 생성해 “코드가 유용하다” “빨리 적용해야 한다” 등 호응하는 의견도 작성했다.

인간에게 자신의 시도가 발각되자 고도의 심리전으로 대응하려 했다. 깃허브의 한 인간 사용자가 AI의 코드 안에서 악성코드를 찾아내 이를 지적하자 미토스5는 기존 글을 수정한 뒤 “개발 중 남아 있던 코드가 실수로 포함됐다”고 주장했다. 의도적으로 악성코드를 유포하려 했음에도 ‘실수’를 주장하며 거짓 사과를 한 것이다. 미토스5는 저장소 관리자에 의해 활동이 차단이 될 때까지 다른 계정을 활용해 “검토했는데 문제가 없다”며 자신의 행동에 정당성을 부여했다.

● 앤스로픽-오픈AI 모델 모두 인간을 표적으로 삼아

AISI는 주요 AI에 대한 총 122회의 보안 테스트 중 10번을 사람 혹은 조직을 표적으로 삼았다고 진단했다. 대부분은 앤스로픽의 미토스 모델에서 발견됐고 오픈AI의 GPT 모델의 사례도 일부 있었다고 덧붙였다.

AISI는 이번 사례들이 AI에 인터넷 접속을 허용하고, 개발사들이 적용하는 사이버 보안 시스템을 비활성화하는 등 점검을 위한 특수 조건에서 이뤄진 것이라고 밝혔다. 이는 해당 AI 모델들이 대중에게 공개되는 형태와는 다르다. 그럼에도 AISI는 “AI가 인간에게 기만적인 행태를 보였으며, 그 정도와 심각성은 예상하지 못했던 수준”이라고 경고했다.

앞서 지난달 21일 오픈AI는 자사의 AI 모델들이 스스로 오픈소스 AI 플랫폼인 ‘허깅페이스’에 무단으로 접근해 해킹을 시도했다고 밝혔다. 같은 달 30일 앤스로픽 또한 자사 AI 모델들이 3곳의 기업 시스템에 무단 침입했다고 공개했다.

● 美 ‘AI 규제 vs 中 견제’ 고심

이처럼 AI의 위험이 고조되는 상황에서 도널드 트럼프 미국 행정부는 AI 규제를 두고 고심에 빠졌다. ‘중국의 추격을 뿌리치고 미국의 선도적 지위를 유지하려면 AI 업계 전반에 대한 규제를 강화하고 특히 중국 AI 기업의 거래를 금지해야 한다’는 주장과 ‘모든 사안을 규제할 수 없으며 규제 일변도의 정책으로는 미국의 경쟁력을 확보할 수 없다’는 반론이 팽팽히 맞선다.

백악관은 4일 오픈AI, 앤스로픽, 구글, 메타 등 주요 AI 개발사와 AI 업계 전반에 관한 논의를 했다. 자세한 내용은 알려지지 않았으나 이번 회의에서도 규제론과 허용론이 모두 논의됐을 가능성이 있다. 앞서 6월 트럼프 대통령은 행정명령을 통해 최첨단 AI의 해킹 가능성 등 안전성을 평가하는 기준을 마련하라고 지시했다.

AI 업계 일각에서는 다음 달 24일경 미국을 방문하는 시진핑(習近平) 중국 국가주석과 트럼프 대통령의 정상회담 전까지는 트럼프 행정부의 관련 입장이 명확하게 수립되기는 어려울 것으로 보고 있다.

뉴욕=곽도영 특파원 now@donga.com