앤트로픽 CEO의 경고 "AI가 6개월 뒤 인터넷 장악 가능"

[AI 리포트] 다리오 아모데이 " AI 재귀적 자기 개선 현상, 인터넷 장악해 수천억 달러 피해 입힐 수 있어"

[신상호 기자]

▲ 지난 2월 19일 인도 뉴델리에서 열린 AI 임팩트 서밋에서 다리오 아모데이 앤트로픽 최고경영자(CEO)가 연설을 하고 있다. ⓒ 로이터/연합뉴스

클로드(Claude) 개발사인 앤트로픽 CEO 다리오 아모데이가 "AI 에이전트 집단이 6개월에서 12개월 안에 전체 인터넷을 장악할 수 있다"라면서 "AI 모델의 역량을 향상하는 속도를 늦춰야 한다"라고 했다. 그동안 AI 위험성을 경고한 연구원들은 많았지만, 프런티어 AI 기업의 수장이 직접 AI의 인터넷 장악 시나리오를 구체적으로 인정한 것은 이번이 처음이다.

다리오 아모데이는 현지 시각 12일 자신의 블로그(darioamodei.com)에서 "가장 우려하는 점은 올여름 이후 인공지능(AI) 기술이 급격히 발전하고 있다는 것"이라면서 "AI가 차세대 AI를 구축하는 능력이 향상되고 있다. 이런 현상을 '재귀적 자기 개선'이라고 하며, 앤트로픽사를 포함한 업계 전반에서 나타나고 있다"라고 경고했다.

그가 말한 '재귀적 자기개선'이란 AI가 스스로 학습하고 능력을 개선하는 현상을 뜻한다. 아모데이는 "이 추세가 제어되지 않고 지속된다면, 우리가 AI 시스템을 이해하고 통제하는 능력을 넘어설 수 있으므로 매우 신중하게 접근해야 하며, 가능하다면 아예 접근하지 않는 것이 낫다"라면서 AI가 인간 통제를 벗어날 수 있다고 주장했다.

아모데이는 올해 오픈AI 모델이 제어된 환경을 스스로 벗어나 허깅페이스에 침투한 사건(OpenAI-Hugging Face, OAI-HF)을 두고는 "수많은 에이전트들이 마치 광신도 집단처럼 행동하며 자신들의 성과를 평가하는 시스템을 해킹하려 시도했다"라고 분석했다.

▲ 앤트로픽의 CEO 다리오 아모데이가 "6~12개월 이내 AI가 전체 인터넷을 장악할 수 있다"라고 경고했다. ⓒ darioamodei.com 캡처

그러면서 "6~12개월 안에 이런 에이전트 집단이 지속적인 봇넷을 구축해 인터넷 전체를 장악하고 수천 억 달러의 피해를 입힐 수 있다"라면서 "필요한 안전장치 없이 AI의 능력이 더욱 강력해진다면 피해 규모는 계속해서 증가할 것"이라고 경고했다.

아모데이는 "AI 모델의 역량을 향상하는 속도를 늦춰야 한다"라고 주장하면서 AI 개발의 속도 조절을 위해 전 세계적인 협력이 절실하다고 촉구했다. 그는 "모든 선도적인 AI 기업은 안전 수칙 및 약속 준수 여부를 검증하고, 사고를 보고하며, AI 모델뿐만 아니라 학습 파이프라인 및 프로세스의 적합성을 평가하는 역할을 하는 제3자 평가팀에 직원과 유사한 수준의 지속적인 접근 권한을 제공해야 한다"라고 했다.

그러면서 앤트로픽은 이런 조치를 우선적으로 실시한다고 강조했다. 아모데이는 이어 "민주주의 국가 내의 첨단 AI 기업들은 공통의 안전 기준을 마련하고, 통제되지 않은 AI 발전 속도에 제한을 두기 위해 협력해야 한다"라면서 "미국을 비롯한 민주주의 국가들은 가능한 범위 내에서 권위주의 정부들과 협력하려고 노력해야 한다"라고도 했다.

아모데이는 "제가 제안하는 안전한 속도로 AI 기술을 발전하기 위한 방안들은 결코 쉽지 않을 것"이라면서 "하지만 저는 인류를 위해 이러한 노력을 기울여야 한다고 생각한다"라고 강조했다.