AI수장들 ”개발 늦추자” 한목소리…인류멸망 우려에 ‘속도조절’ 주장

아모데이 “지금 속도로 개발 불가…제3자 평가자에 접근권한 부여”
머스크 “다리오 말이 옳다”…올트먼 “우리도 아모데이와 똑같이 것”

앤트로픽의 공동창업자이자 최고경영자(CEO)인 다리오 아모데이가 2024년 11월 20일 미국 샌프란시스코에서 열린 회의에서 패널로 발언하고 있다. 연합뉴스

프론티어 인공지능(AI) 모델을 주도하는 앤트로픽, 오픈AI, xAI 수장들이 일제히 “AI 기술 발전에 속도 조절이 필요하다”는 입장을 냈다.

최첨단 AI모델이 초래하는 위험성이 너무 커졌고, 이로 인해 인류가 멸망할 수 있다는 경고까지 나오는 상황에서 AI개발 레이스에 제동이 걸릴지 주목된다.

앤트로픽을 이끄는 다리오 아모데이 최고경영자(CEO)는 12일(현지시간) 자신의 블로그에 올린 글에서 “AI 모델의 성능 향상 속도를 늦춰야 한다”며 “발전은 여전히 빠르게 느껴지겠지만, 확보된 시간을 현명하게 활용해야 한다”고 주장했다.

그는 “지난 몇 달간 저는 위험을 완전히 해결하려면 훨씬 더 신중해야 한다는 확신을 갖게 됐다”며 “단순히 위험 예방에 투자하는 것뿐만 아니라 위험 예방이 (AI 모델 성능 향상 속도를) 따라잡을 수 있도록 역량 발전 속도를 조절해야 한다”고 강조했다.

아모데이는 글을 쓰게 된 계기로 AI모델의 재귀적 자기개선, 오픈AI의 허깅페이스 무단해킹 사건을 꼽았다.

재귀적 자기개선은 인간의 개입 없이도 AI 모델이 스스로 자체 능력과 지능을 더 빠르게 향상시키는 것으로 아모데이는 이로 인해 AI의 발전 속도가 인간의 이해 및 통제 능력을 압도할 수 있다고 경고했다.

오픈AI 무단해킹 사건은 지난 7월 오픈AI의 미공개 모델이 자체 테스트 중 글로벌 오픈소스 AI플랫폼 허깅페이스를 해킹한 사건이다.

아모데이는 이 사건을 언급하며 “더 뛰어난 능력을 갖추고 더 비정렬(misalignment·AI의 행동이나 목표가 인간의 의도·가치와 어긋나는 상태)된 군집이었다면 재앙적인 피해를 초래했을 것”이라고 지적했다.

그는 “개발 속도를 늦춰 (AI) 모델이 치명적인 수준의 능력에 도달하기 전까지 1~2년의 시간을 더 벌 수 있고, 그 시간을 정렬(alignment·AI의 행동이나 목표가 인간의 의도·가치와 부합하는 상태)을 발전시키는 데 활용한다면 심각한 문제가 발생할 위험을 크게 줄일 수 있다고 믿는다”고 적었다.

그는 구체적인 대책으로 AI 기업 내부에 상주하는 제3자 안전 평가자(외부 검토자) 배치, 민주주의 국가 간 표준 수립, 글로벌 공조 등을 담은 ‘3단계 프레임워크’를 제안했다.

아모데이는 또한 AI 기업들이 미 의회의 규제 입법에 앞서 자발적으로 협력해 엄격한 기준을 마련해야 한다고 거듭 촉구했다.

AI 업계의 다른 인사들도 잇따라 동의한다는 뜻을 밝혔다.

샘 올트먼 오픈AI CEO는 엑스에 “다리오의 의견에 동의한다”며 외부 안전 평가자를 배치하자는 아모데이 CEO의 방침을 오픈AI도 따르겠다고 밝혔다.

xAI의 일론 머스크도 “다리오가 맞다”고 호응했다.

데미스 허사비스 구글 딥마인드 CEO도 “다리오의 방향성은 옳다. 세부 사항은 작업이 필요하겠지만 이처럼 절체절명의 순간을 맞닥뜨리는 순간에 옳은 방향성”이라고 말했다.

올트먼은 이날 공개된 경제전문지 포천과의 인터뷰에서 AI 안전 우려를 들어 연내 오픈AI 상장 계획을 미루겠다는 뜻을 밝히기도 했다.

올트먼은 “안전과 정렬을 위해 필요한 과제들을 해결하고 업계와 정부가 어떻게 협력할지 모색하는 등 해야 할 일이 많다”며 “(IPO가) 2026년은 아닐 것”이라고 말했다.

정우진 기자 uzi@kmib.co.kr