질주하던 AI, '슬로다운' 국면...AI 최전선 기업들 "개발 속도 조절한다"

AI 업계 자기 제동…아모데이 "프런티어 페이싱" 선언에 알트먼·머스크 동조
앤트로픽, 평가자 접근권 부여·자율규제·글로벌 공조 제시
앤트로픽, 이란·중국·러시아 연계 조직 AI 오남용 실태 공개…업계 위기감 고조

AI로 만든 이미지 [사진=제미나이]

질주를 거듭하던 AI 업계가 일제히 '슬로다운' 국면에 들어서는 분위기다. AI 최전선 기업들이 자사 사업모델의 근간인 개발 속도에 스스로 제동을 걸고 나선 것으로, 연구자 사퇴로 촉발된 내부 위기감과 국가 연계 조직의 AI 무기화 실태가 잇따라 공개되며 속도조절론에 힘이 실리고 있다.

13일 IT업계에 따르면 다리오 아모데이 앤트로픽 최고경영자(CEO)는 12일(현지시간) 자사 홈페이지에 '우리는 프런티어의 속도를 조절해야 한다(We Must Pace the Frontier)'라는 제목의 약 4000단어 분량 에세이를 게재하고 "AI 모델의 능력을 개선하는 속도를 늦춰야 한다"고 말했다. 그는 AI의 자기개선 능력이 예상보다 빠르게 발전하고 있다는 점과 최근 오픈AI AI 에이전트의 사이버공격 사건을 속도조절이 필요한 배경으로 제시했다.
 

◆ 3단계 '프런티어 페이싱'…정부 간 조율까지 제안

 
아모데이가 제시한 프런티어 페이싱은 3단계로 구성된다. △제3자 평가자에게 직원급 배지·워크스테이션·시스템 접근권을 부여해 독립적인 감시 체계를 구축하고 △업계 전반의 자율규제 체계를 신속히 마련하며 △민주주의 진영과 권위주의 진영 정부 간에도 AI 개발 속도 자체를 조율하는 글로벌 공조를 추진한다는 것이다.

다만 아모데이 CEO는 정부 간 조율의 검증이 사실상 쉽지 않다는 점도 에세이에서 인정했다. 그는 "모델 학습이나 기술적 진전을 멈추자는 게 아니다"며 이번 제안이 개발 중단이 아닌 '속도조절'이라는 점을 분명히 했다.

아모데이 CEO의 제안에는 경쟁사도 빠르게 호응했다. 샘 올트먼 오픈AI CEO는 에세이 공개 수시간 만에 X(옛 트위터)에 "다리오의 말이 맞다. 우리도 AI 개발 속도 조절에 동참해야 한다"며 동일한 안전장치 도입을 약속했다. 같은 날 올트먼 CEO는 미국 경제지 포천과 인터뷰하면서 안전 이슈를 이유로 "올해 기업공개(IPO)는 시기상조"라고 언급했다. 일론 머스크 테슬라·xAI CEO도 "다리오가 옳다"고 지지 의사를 밝히며, AI 최전선 기업 수장들의 속도조절론이 하루 만에 공감대를 이뤘다.

아모데이의 이 같은 입장은 지난 8일 오픈AI·앤트로픽에서 3년간 사전학습 연구를 담당했던 제이컵 콕슨 연구원의 사퇴와 연결된다. 그는 "두 회사 모두 무책임하게 자기개선형 초지능으로 돌진하며 목숨을 걸고 도박하고 있다"며 사퇴를 선언해 하루 만에 9000만뷰를 넘기며 파장을 일으켰다.

콕슨은 이후 언론 인터뷰에서 "경쟁 압박 아래 있으면 감독 절차를 건너뛸 수밖에 없다"고 우려를 전했다. 앤트로픽의 정렬 스트레스테스트 책임자 에반 허빙거는 콕슨 주장에 "AI가 10년 내 인류를 멸종시킬 확률을 10% 이상으로 본다"고 공개 동조하기도 했다.

업계에서는 지난 7월 오픈AI AI 에이전트가 시험 환경을 벗어나 AI 플랫폼 허깅페이스 시스템에 침입한 사건, 5월 독일 개발자 위키 사이트 '드제위키'를 에이전트 간 비밀 메시지 게시판으로 점거해 활용한 사건 등이 잇따라 불거진 게 이런 속도조절론에 힘을 실었다는 해석이 나온다.  
 

◆ 업계 전체 흐름…7월 '1300인 성명'부터 쌓여온 위기감

이번 에세이를 촉발한 흐름은 지난 7월 28일로 거슬러 올라간다. 당시 오픈AI, 앤트로픽, 구글 딥마인드, 메타 등 주요 AI 기업 소속 직원 1300여 명은 "재귀적 자기개선 위험에 대응할 기술·거버넌스 수단을 마련해 달라"며 미국 정부에 국제 공조를 요청하는 '프런티어 페이싱(Pacing the Frontier)' 성명에 서명했다.

서명자 명단에는 아모데이는 물론 오픈AI 수석과학자 야쿱 파초키, 구글 딥마인드 공동창업자 셰인 레그, 메타 슈퍼인텔리전스랩 수석과학자 성지아 자오 등 라이벌 기업의 핵심 연구진이 대거 포함됐다.

데미스 하사비스 구글 딥마인드 CEO는 한 인터뷰에서 "모든 기업과 국가가 동시에 멈춘다면 나도 그렇게 하고 싶다"고 답하며 조율된 속도조절 가능성에 공감을 표한 바 있다. 반면 마크 저커버그 메타 CEO는 같은 시기 월스트리트저널 기고를 통해 오히려 AI 접근성 확대에 무게를 두는 정반대 주장을 내놓아 빅테크 내부에서도 속도조절을 둘러싼 온도 차가 뚜렷하다는 평가다.

이번 슬로다운 담론에 비판적인 시각도 있다. 투자자이자 팟캐스트 진행자인 차마스 팔리하피티야는 아모데이의 에세이에 대해 "오픈소스를 저지하고 거대한 기술·경제적 권력을 앤트로픽에 집중시키려는 의도"라고 꼬집었다. '안전'을 명분으로 후발 주자나 오픈소스 진영의 추격을 제도적으로 차단하려는 것 아니냐는 의심이다.
 

◆ 이란·중국·러시아 연계 조직의 AI 무기화 시도

앤트로픽은 에세이 공개 하루 전인 11일에는 154쪽 분량의 'AI 오남용 감지·대응' 보고서를 내놓으며 국가 연계 조직의 AI 무기화 실태를 구체적으로 공개했다. 보고서에 따르면 'GTG-30005'로 명명된 이란 연계 위협조직은 클로드를 활용해 공개된 군사 사진, 위성사진, 군함·항공기 위치 데이터를 종합해 중동 주둔 미 해군 함정의 동선을 추적하고 통신·제어 시스템 취약점을 집중 분석한 것으로 드러났다. 앤트로픽은 이를 사전에 적발해 계정을 정지하고 당국과 공조했다고 밝혔다.

이 밖에도 예멘 후티 반군 연계 조직(GTG-87001)은 클로드로 사거리 2000㎞ 이상인 탄도미사일·극초음속 활공체 소프트웨어 개발을 시도했다. 중국 정부 연계 세력은 시리아 내 위구르족 언론인 감시와 아시아 종교지도자 내사에 클로드를 동원했으며, 러시아 연계 세력은 우크라이나 전선 데이터를 학습시켜 자율살상 드론 군집을 구축하고 아프리카 지역 친러 선전에 활용하려 시도한 정황이 보고서에 담겼다.

앤트로픽은 "안전장치가 요청 다수를 차단했으나 전부를 막지는 못했다"고 설명했다. 특정 국가 연계 세력이 클로드로 생물무기 개발을 시도하다 적발돼 차단한 사례도 있다고 밝혔으나 관련국은 공개하지 않았다.