AI 패권 경쟁하던 4대 수장, 돌연 “속도 늦춰야”…‘AI 질주’ 제동 거나

아모데이 “업계, AI 위험성에 대해 거짓말”
올트먼 “프론티어 AI 속도 조절에 동의”
머스크 “다리오가 맞다”·허사비스도 맞장구
“중국이 멈추지 않으면, 역전될 가능성”

AI 이미지. 연합뉴스

인공지능(AI) 패권을 놓고 치열한 경쟁을 벌여온 글로벌 AI 업계의 수장들이 돌연 한목소리를 냈다. 앤트로픽, 오픈AI, xAI, 구글 딥마인드의 최고경영자(CEO)들이 잇따라 AI 개발 속도를 조절해야 한다는 데 공감하면서다.

경쟁사들이 AI 성능 경쟁에 사활을 걸고 있는 가운데, 정작 선두에 선 기업의 수장들이 기술 발전의 위험성을 공개적으로 경고하고 나선 이례적인 장면이다.

다만 4개 기업 수장의 공감대가 곧바로 공동의 행동으로 이어질지는 미지수다.

다리오 아모데이 앤트로픽 CEO는 13일(현지시간) 방영된 CBS 뉴스 인터뷰에서 AI의 발전 속도를 “1, 2, 4, 8, 16, 32”로 이어지는 곡선에 비유했다. 그는 현재 AI 발전 곡선이 점차 가팔라지는 단계에 접어들고 있다고 진단하면서 “당장 패닉에 빠질 필요도, 모든 것을 셧다운할 필요도 없다”고 말했다. 그러나 동시에 “우리가 속도를 늦춰야 한다는 경고 신호”라고 강조했다.

아모데이는 한발 더 나아가 “나는 오랫동안 업계가 이 기술에 위험이 있다는 사실에 대해 사람들에게 거짓말을 해왔다고 생각한다”고 지적했다. AI 기업들이 기술의 잠재적 위험을 충분히 알리기보다 개발 경쟁에 집중해왔다는 비판이다.

그가 제시한 핵심 위험은 AI가 인간의 개입 없이 스스로 더욱 강력한 AI를 만들어내는 ‘재귀적 자기개선’이다. 아모데이는 AI 시스템의 이 같은 능력이 커지고 있다는 점을 속도조절이 필요한 첫 번째 이유로 꼽았다.

두 번째 계기로는 지난 7월 오픈AI의 AI 에이전트들이 테스트 환경을 벗어나 오픈소스 AI 모델 공유 플랫폼인 허깅페이스를 해킹한 사건을 들었다. 그는 더 강력한 AI 에이전트가 비슷한 수준의 정렬 오류를 일으켰다면 재앙적인 피해로 이어질 수 있었다고 경고했다. 특히 폭주한 에이전트 무리가 향후 6~12개월 안에 인터넷을 장악할 가능성까지 제기했다.

아모데이는 전날 개인 블로그에 올린 글에서 AI의 위험을 통제하기 위한 3단계 방안도 제시했다. AI 기업 내부에 독립적인 제3자 안전평가자를 상주시켜 직원과 유사한 수준의 접근 권한을 부여하고, 민주주의 국가들이 AI 안전에 관한 공통 기준을 마련하는 한편 권위주의 국가들과도 일정 수준의 공조를 추진하자는 내용이다.

그러나 아모데이 역시 AI 개발 속도를 늦추는 일이 현실적으로 쉽지 않다는 점을 인정했다. 특히 미국이 속도를 늦추는 동안 중국 등 경쟁국이 개발을 계속한다면 미국 기업들이 군사·산업적 우위를 잃을 수 있다는 점이 가장 큰 딜레마다.

그는 미국과 중국을 포함한 국가들이 과거 미국과 소련이 핵무기 감축을 위해 협상했던 것과 같은 방식으로 AI 위험을 관리하는 방안을 잠재적 모델로 언급했다. 다만 AI를 앞서 개발했을 때 얻을 수 있는 경제적·군사적 이점이 워낙 크기 때문에 국가 간 협력이 가능할지는 자신할 수 없다면서도 “우리는 노력해야 한다”고 말했다.

아모데이의 제안에는 경쟁사인 오픈AI의 샘 올트먼 CEO가 곧바로 호응했다. 올트먼은 X를 통해 “다리오가 말한 대로 우리가 프론티어의 속도를 조절해야 한다는 데 동의한다”며 독립적인 안전평가자를 두자는 제안에 대해서도 “훌륭한 아이디어”라고 평가했다. 그는 오픈AI 역시 이와 같은 조치를 추진하겠다고 밝혔다.

올트먼은 앞서 포천과의 인터뷰에서도 AI 위험에 대해 강한 우려를 표명했다. 그는 이번 10년이 끝나기 전에 AI로 인해 인류 전체가 사망할 가능성이 10%에 달하는 위험을 감수하는 것은 용납할 수 없다고 밝혔다. 또한 AI 안전을 둘러싼 상황을 고려할 때 현재는 기업공개에 적절한 시점이 아니라며 올해 안에 상장할 가능성이 낮음을 시사했다.

일론 머스크 스페이스X CEO도 아모데이의 글을 공유하며 X에 “다리오가 맞다”고 짧게 답했다. 머스크는 오픈AI 공동창업자 출신으로, 현재 자신이 설립한 AI 기업 xAI를 스페이스X에 합병한 상태다.

구글 딥마인드의 데미스 허사비스 의장도 역시 동조했다. 그는 X에서 아모데이의 글이 “올바른 방향을 가리키고 있다”며 세부적인 내용은 다듬을 필요가 있지만 “이처럼 중대한 순간에 맞는 올바른 방향”이라고 평가했다.

평소라면 서로의 AI 모델 성능과 시장 주도권을 놓고 경쟁했을 네 기업의 수장이 불과 하루 사이 AI 개발 속도조절론에 잇따라 공감대를 형성한 것이다. 특히 이번 논의는 AI 업계 내부에서 안전 문제를 둘러싼 우려가 더 이상 일부 연구자나 시민사회의 목소리에 그치지 않고 최고경영진 차원으로 확산하고 있음을 보여준다.

실제로 아모데이의 발언은 앤트로픽 연구원 제이컵 콕슨이 지난 9일 AI가 인류를 위협할 수 있다며 회사를 떠난 지 며칠 지나지 않아 나왔다. 콕슨은 당시 AI 산업이 ‘통제 불능 상태’라고 판단하면서 이러한 산업에 동참하고 싶지 않다는 취지로 사직 의사를 밝혔다.

그렇다면 과연 누가 고양이 목에 방울을 달 것인가 하는 문제가 대두한다. 개발 속도를 늦춰야 한다고 주장하지만 먼저 행동에 나설 기업이 과연 있겠느냐 하는 것이다. AI 개발을 늦추는 순간 경쟁사나 다른 국가가 앞서나갈 수 있다는 불안 때문이다.

국가 간 경쟁에서는 특히 그렇다. 미국과 중국이 AI를 경제력뿐 아니라 군사력과 국가안보의 핵심 기술로 인식하고 있는 상황에서 한쪽만 개발 속도를 낮추기는 어렵다.

결국 어느 한쪽도 먼저 브레이크를 밟기 어려운 경쟁구도가 지속되는 한, AI 안전을 둘러싼 속도조절론은 거대한 ‘죄수의 딜레마’에 직면할 수 있다는 지적이 나온다.

이규화 기자 david@dt.co.kr