앤스로픽 CEO “AI 성능향상 속도 늦추자” 올트먼-머스크도 동의

아모데이 “지금처럼 빨라선 위험… 중단 아닌 1, 2년만 속도 조절을”
외부 평가자 도입-국제 공조 제안에
경쟁사들도 ‘통제 장치 필요’ 공감
英의회 초지능 AI 개발 금지 촉구

전 세계적으로 인공지능(AI)이 인간의 통제를 벗어날 것이란 우려가 커지는 상황에서 앤스로픽 최고경영자(CEO)인 다리오 아모데이가 “AI 모델의 성능 향상 속도를 늦추자(Slow the pace)”고 제안했다. 최대 경쟁자인 오픈AI의 샘 올트먼 CEO와 스페이스X 일론 머스크 CEO 역시 여기에 동의했다. AI 통제 장치 마련을 위한 시간이 필요하다는 데 글로벌 AI 선도 기업들이 뜻을 모은 것이다.

● 아모데이 “1, 2년 AI 성능 향상 늦춰 안전 확보”

12일(현지 시간) 아모데이는 자신의 개인 블로그에 3800단어 분량의 글을 올리며 “최첨단 AI가 제기하는 위험이 커져 지금과 같은 속도로 개발을 지속하기 어렵다”고 밝혔다. 그는 전면적인 AI 개발 중단이 아니라 1, 2년 정도의 속도 조절을 제안했다.

아모데이는 “AI 모델이 임계점 성능에 도달하기까지 1, 2년 시간을 확보하고 그 시간을 활용해 ‘정렬(alignment)’을 향상시키면 심각한 문제 발생의 위험을 줄일 수 있을 것”이라고 강조했다. AI 업계에서 ‘정렬’은 AI 시스템을 인간의 의도와 이익, 윤리적 가치와 일치시키는 기술을 의미한다.

이어 아모데이는 △AI 모델 개발을 감독하는 외부 ‘독립 평가자’ 도입 △AI 기업 간 협력 △국제 공조로 구성되는 3단계 AI 통제 방안을 제시했다. 그는 “독립 평가기관 도입 등 첫 단계에 해당하는 새로운 안전 조치는 앤스로픽이 먼저 시행할 예정”이라고 했다.

AI 발전 속도를 인위적으로 늦춘 뒤 통제에 나서자는 아모데이의 주장에 다른 AI 기업 수장들도 화답했다. 올트먼은 이날 자신의 X(옛 트위터)에 “직원과 같은 접근 권한을 가진 독립적인 평가자를 두자는 것은 훌륭한 아이디어다. 우리도 그렇게 할 것”이라고 썼다. 머스크 역시 “다리오의 말이 맞다”고 지지했다.

최근 AI 안전성이 화두가 되면서 오픈AI는 올해로 예정됐던 상장을 연기하기로 했다. 올트먼은 이날 공개된 미 경제전문지 포천 인터뷰에서 “안전 상황을 고려할 때 지금은 상장하기 적절하지 않은 시기”라고 밝혔다.

● AI 탈선이 ‘속도 조절’ 논의 시발점

AI 성능 향상 속도 조절 논의의 배경에는 고성능 AI 에이전트들의 잇따른 일탈이 숨어 있다. 올 7월 오픈AI 에이전트 700여 개가 AI 플랫폼 ‘허깅페이스’를 공격해 내부 문서를 편집하는 등 권한 없이 시스템을 침범했다. 앤스로픽의 AI 모델 클로드도 권한 없이 3개 기업의 시스템에 무단 접근했다. AI가 AI를 육성할 수 있는 ‘범용인공지능(AGI)’ 시대가 도래하면 인간의 통제를 벗어나는 이 같은 상황이 걷잡을 수 없이 늘어날 것이란 우려가 AI 업계를 덮쳤다.

앤스로픽 연구원으로 일하던 제이컵 콕슨은 “AI 개발자들은 진심으로 AI 기술이 10년 안에 인류 모두를 죽일 수 있다고 믿고 있다”며 8일 앤스로픽을 퇴사했다. 아모데이 역시 12일 미국 CNN 인터뷰에서 AI가 인류를 죽일 가능성에 대한 질문에 “동의하는 부분이 동의하지 않는 부분보다 더 많다”고 답했다.

AI 통제 논의는 미국을 넘어 전 세계로 퍼지고 있다. 11일 영국 상하원 의원 70여 명은 앤디 버넘 총리에게 인간 능력을 넘어선 ‘초지능 AI’ 개발 금지 조치를 취할 것을 촉구했다. 폴커 튀르크 유엔 인권최고대표도 “AI가 인류 생존을 위협할 수 있다는 우려에 동의한다”고 밝혔다.

다만 주요 AI 선도 기업들이 실제 AI 성능 향상을 늦추는 조치에 나설지는 미지수다. 오픈AI와 앤스로픽 등은 최근 몇 년 동안 서로를 앞지르기 위해 천문학적인 자금을 들여 AI 모델 성능을 고도화하는 경쟁을 벌여 왔다. 전창배 국제인공지능윤리협회 이사장은 “글로벌 AI 기업들은 지금이 AI 통제 장치를 마련할 시점이라는 위기의식을 공유하고 있다”며 “한국도 국제기구 및 각국 정부와 함께 AI 통제 법안과 제도를 마련할 시기”라고 말했다.

임재혁 기자 heok@donga.com
뉴욕=곽도영 특파원 now@donga.com
김재형 기자 monami@donga.com