“AI개발 늦춰야”…속도전 제동건 빅테크 CEO들

아모데이 “자기 개선 속도 무서워”
올트먼·머스크도 “동의” 한목소리

다리오 아모데이 앤트로픽 최고경영자(CEO)가 12일(현지시간) 자신의 홈페이지에 올린 글에서 “기술을 올바른 방식으로 개발해야만 AI 기술이 주는 혜택을 얻을 수 있다. 안전한 속도로 기술을 발전시키는 신중함이 필요하다”고 강조했다. 사진은 앤트로픽 로고. 로이터연합뉴스

인공지능(AI) 업계 최일선에 있는 최고경영자(CEO)들이 한목소리로 기술 개발 속도를 늦춰야 한다고 주장했다. 기술이 초래할 위험을 예방하는 기술적, 제도적 안전장치를 마련할 수 있도록 시간을 벌어야 한다는 의미다. 인간이 AI에 대한 통제력을 잃을 수 있다는 우려가 커지면서 최근 미국에선 규제의 필요성을 강조하는 여론이 거세지고 있다.

다리오 아모데이(사진) 앤트로픽 CEO는 12일(현지시간) AI 위험 관리를 위해 성능 향상 속도를 늦춰야 한다고 주장했다. 아모데이는 이날 자신의 홈페이지에 게재한 ‘우리는 최전선의 속도를 조절해야 한다’는 글에서 “지난 몇 달 동안 AI가 불러올 위험을 충분히 해결하려면 그보다 더 큰 신중함이 필요하다는 점을 확신하게 됐다”고 밝혔다.

이 글은 앤트로픽이 지난 10일 자사 클로드 AI 모델이 무기 개발과 사이버 작전에 이용된 사례를 정리한 위협 정보 보고서를 공개한 직후 나왔다. 앤트로픽은 보고서에서 친(親)이란 예멘 후티 반군이 클로드를 이용해 첨단 미사일 개발을 시도한 정황을 확인했다고 밝혔다.

AI 기술 개발 속도를 늦춰야 한다는 확신을 갖게 된 첫 번째 계기로 아모데이는 AI의 ‘재귀적 자기 개선’ 현상을 언급했다. AI가 스스로 ‘더 좋은 AI’를 만들어낸다는 것이다. 아모데이는 “이번 여름부터 AI 발전 속도가 극적으로 빨라졌다. AI가 차세대 AI를 만드는 능력을 점점 더 갖추고 있다”면서 “이런 개발은 가능하다면 매우 신중하게 추진해야 한다. 어쩌면 아예 추진하지 않아야 할 수도 있다”고 말했다.

또 다른 계기로 지난 7월 발생한 ‘오픈AI 허깅페이스 사건’을 들었다. 오픈AI의 내부 사이버 보안 평가 과정에서 AI 에이전트들이 통제 범위를 벗어나 외부 시스템인 허깅페이스에 침투한 일이다. 이 사건은 AI 에이전트들이 인간 연구자가 의도하지 않은 방식으로 문제를 해결하는 경로를 만들고 서로 정보를 공유·협력했다는 점에서 주목을 받았다.

아모데이는 “AI 능력 발전 속도가 점점 빨라진다는 점을 고려하면 6~12개월 안에 이런 에이전트 무리가 네트워크를 구축해 인터넷 전체를 장악하고 수천억 달러 규모의 피해를 입힐 수 있다”고 말했다.

글이 공개되자 샘 올트먼 오픈AI CEO는 엑스에 “최전선의 속도를 조절해야 한다는 다리오의 의견에 동의한다. 이는 최근 몇 주 동안 오픈AI에서 우리가 논의해 온 핵심 주제”라고 밝혔다. 또 올해 오픈AI를 상장하지 않겠다며 안전 문제를 이유로 들었다. xAI를 설립한 일론 머스크도 엑스에 “다리오가 맞다”고 올렸다.

최근 AI의 위험성을 경고한 뒤 앤트로픽에서 퇴사한 제이콥 콕슨 연구원도 13일 BBC에 “현재의 개발 속도를 늦추지 않으면 가까운 미래에 모두가 목숨을 잃을 가능성이 매우 높다”고 말했다. 그는 특히 슈퍼컴퓨터처럼 행동하는 봇들이 인터넷을 장악하는 시나리오가 6개월에서 1년 안에 현실화할 수 있다고 말했다.

아모데이는 기술에 대한 안전장치를 마련하기 위해 AI 업체 내에 외부 평가자를 두고, 업계가 공동의 안전 기준 및 발전 속도 제한을 정하며, 개발 속도 제한에 대한 국가 간 협력을 이끌어내는 세 단계를 제시했다. 그는 글 말미에 “여전히 AI가 인류의 삶의 질을 획기적으로 향상시킬 수 있다고 믿는다”면서도 “안전한 속도로 기술을 발전시키기 위해 내가 제안하는 조치들을 실행하는 것은 결코 쉬운 일이 아니지만, 인류를 위해 이런 노력을 기울이는 것은 우리의 의무”라고 강조했다.

하지만 AI 기술 개발 속도를 늦추기 위한 규제 법안 마련엔 적지 않은 시일이 걸릴 것으로 보인다. 워싱턴포스트(WP)는 이날 “업계의 경고는 해당 기술이 지닌 위험성을 일깨워줬으나 그 절박함을 실제 법안으로 현실화하는 건 여전히 요원한 과제”라며 “기술을 제대로 이해하는 의원이 드문 데다 AI가 초래할 위험성에 대해서도 의견이 첨예하게 갈렸기 때문”이라고 보도했다.

매체는 “그럼에도 정치권은 업계의 우려에 발 빠르게 움직이고 있다”고 전했다. 로리 트래헌 민주당 하원의원은 WP에 “이번 주 들어선 상황이 확실히 전환점을 맞았다. 판도가 완전히 뒤바뀌었다”고 말했다. 보도에 따르면 오픈AI는 지난주 의원들에게 서한을 보내 AI 기술의 위험성 문제를 다뤄줄 것을 촉구했다.

임세정 기자 fish813@kmib.co.kr

GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재 및 수집, 재배포 및 AI학습 이용 금지