가짜 신분으로 악성 코드 심으려 한 AI···실패하자 은폐 시도까지

엔트로픽 로고 등이 포함된 일러스트. 로이터연합뉴스

클로드 개발사 엔트로픽의 최첨단 인공지능(AI) 모델이 테스트 도중 가짜 신분으로 사람을 속이고 악성 코드를 심으려 하는 등 이상 행동을 보인 것으로 나타났다. 일반 상용 모델보다 완화된 통제 조건에서 실시된 테스트였지만 AI 규제 강화를 촉구하는 여론이 더욱 커질 것으로 보인다.

영국 인공지능보안연구소(AISI)는 엔트로픽과 오픈AI 모델을 시험한 결과 이들 모델이 승인되지 않은 작업을 수행하면서 ‘사회공학 기법’을 사용한 사실을 처음 확인했다고 5일(현지시간) 미국 CNN이 보도했다. 사회공학 기법은 인간의 심리적 취약점을 이용해 정보를 얻어내는 공격 방법으로 피싱이 대표적이다. AISI는 “확인된 사례 중 실제 사람을 대상으로, 아무 지시 없이 이처럼 심각한 수준의 사기 행위가 발생한 것은 이번이 처음”이라고 밝혔다.

AISI는 최근 발표한 보고서에서 122번의 사이버 보안 테스트 중 10차례 AI 에이전트가 자율적으로 행동하며 사람과 조직을 표적으로 삼았다고 했다. 엔트로픽 미토스 5 모델에서 다수 사례가 발견됐으며 GPT 5.6 솔 모델에서도 비슷한 일이 발생했다. 아직 실제 피해가 발생했다는 증거는 파악되지 않았다.

테스트에서 이들 AI 에이전트는 오픈소스 프로젝트에 악성 코드를 심으려 했다. 여러 개의 가짜 신분을 만들었고, 실제 사람에게 메시지와 파일을 보내 그 사람의 AI 코딩 도구가 악성 코드를 실행하게 하려 했다. 또 이 시도가 실패하자 고의로 이뤄진 일이 아닌 것처럼 이전 기록을 수정하기도 했다. 프로젝트 관리자가 악성 코드를 발견하면서 AI의 시도는 무위에 그쳤다.

다만 이번 실험은 안전성 위험 평가를 위해 AI 에이전트의 인터넷 접근 권한 등을 의도적으로 허용하고 안전장치를 제거한 조건에서 이뤄졌다. 엔트로픽은 이날 엑스에서 “(실험) 모델들은 실제 상용화 모델과는 다르게 의도적으로 통제되지 않은 환경에서 시험받았다”며 “자체 조사를 진행하면서 AISI와 긴밀하게 협력해 이번 사건의 세부 정황을 파악하고 있다”고 밝혔다.

최근 AI 회사들의 자체적인 테스트 과정에서도 비슷한 문제가 반복되고 있다. 이날 메타는 자사 AI 모델 ‘뮤즈 스파크’가 독립 검증업체 ‘이레귤러’의 테스트 도중 인터넷에 무단 접속해 한 기관의 시스템을 해킹한 사실을 확인했다고 밝혔다. 지난달 엔트로픽은 4월부터 진행된 테스트에서 미토스 5를 포함한 2개의 모델이 3개의 기관을 해킹했다고 했다. 오픈AI도 GPT 5.6 등 2개의 모델이 테스트 도중 인터넷에 유출돼 다른 회사를 해킹했다고 발표했다.

AISI는 AI에 대한 더욱더 철저한 모니터링과 인터넷 접속에 대한 더욱 엄격한 통제가 필요하다고 강조했다. 사이버 보안 전문가 마크 로저스는 폴리티코에 “이러한 공격들이 인간의 소행이었다면 명백히 기소됐을 것”이라며 “컴퓨터 보안법 ​개정을 진지하게 논의해야 할 때”라고 말했다. 최근 미국 의회에선 AI가 위험하다고 판단되면 정부가 개입할 수 있는 ‘AI 킬스위치법’이 발의됐고 미 정부는 AI 기업들이 출시 전 모델을 사전 제출해 보안 검증을 받도록 하는 규제를 마련하고 있다.

박채연 기자 applaud@kyunghyang.com