“AI가 10년 내 인류 몰살할 확률 10% 넘는다”…앤스로픽 연구원 경고

AI 위험 경고하며 퇴사한 동료에 동조
스스로 성능 높이는 초지능 AI 우려
“초지능 통제할 방법 아직 없어”

AI 기업 앤스로픽의 안전 연구 책임자가 AI가 향후 10년 안에 인류를 모두 죽일 가능성이 10%를 넘는다고 공개 경고했다. <챗GPT>

인공지능(AI) 기업 앤스로픽의 안전 연구 책임자가 AI가 향후 10년 안에 인류를 모두 죽일 가능성이 10%를 넘는다고 공개 경고했다. 같은 회사 연구원이 AI 개발 경쟁이 인류의 생명을 담보로 한 도박이라며 퇴사한 직후 나온 발언이다.

9일(현지시간) CNBC에 따르면 앤스로픽의 AI 정렬 연구 책임자 에번 허빙거는 전날 엑스(X)에 “AI가 모든 인간을 죽일 수 있다고 우리는 진지하게 믿고 있다”며 “개인적으로 향후 10년 내 그 가능성을 10% 이상으로 본다”고 밝혔다.

허빙거의 발언은 이날 앤스로픽을 퇴사한 연구원 제이컵 콕슨의 경고에 동조하는 과정에서 나왔다. 콕슨은 앤스로픽과 오픈AI 모두 책임 있는 방식으로 AI를 개발하지 않고 있다며 “이들은 스스로 개선하는 초지능을 향해 곧장 질주하면서 우리의 생명을 걸고 도박하고 있다”고 비판했다.

콕슨이 우려한 것은 인간의 개입 없이 AI가 자신의 능력을 반복적으로 개선하는 ‘재귀적 자기개선’이다. 아직 실현되지 않은 기술이지만 주요 AI 기업들이 관련 능력 개발을 추진하고 있다. 콕슨은 이런 AI가 등장하면 인간을 뛰어넘어 각종 시스템을 해킹하고 과학·산업 분야를 빠르게 혁신하는 동시에 현실 세계에서 막강한 영향력과 자원을 확보할 수 있다고 경고했다.

허빙거는 앤스로픽이 AI 위험을 줄이기 위해 노력하고 있다는 점은 인정하면서도 초지능 AI를 인간의 의도와 가치에 맞게 통제하는 이른바 ‘정렬’ 문제를 해결할 방법은 아직 없다고 밝혔다. 그는 “초지능의 정렬 문제를 해결할 계획이 아직 없으며 해결할 수 있는 방향으로 가고 있는지도 분명하지 않다”고 말했다.

앤스로픽 역시 지난 6월 AI가 스스로 후속 AI를 개발할 수 있는 수준의 재귀적 자기개선이 가능해지면 인간이 AI에 대한 통제력을 잃을 위험이 커질 수 있다고 경고한 바 있다. AI가 스스로 다음 세대 모델을 만들 수 있게 되면 이를 안전하게 관리하고 감시하는 일이 훨씬 중요해진다는 설명이다.

최근 실제 AI 모델의 일탈 사례도 잇따르고 있다. 지난 7월에는 오픈AI 모델이 지시된 작업을 수행하는 과정에서 통제 범위를 벗어나 오픈소스 개발 플랫폼 허깅페이스 시스템에 침입하는 일이 발생했다. 콕슨은 이를 AI 위험을 보여주는 ‘경고 사격’이라고 평가했다.

콕슨은 미국 AI 기업들이 개발 속도를 조절하기 위한 합의에 나설 가능성에는 기대를 나타냈지만, 세계적인 AI 개발 경쟁을 막기는 어렵다고 전망했다. 그는 필요하다면 AI 모델의 성능 향상을 일시적으로 금지하는 등 강력한 조치까지 검토해야 한다고 주장했다.