AI 인류 종말론… AI가 스스로 발전해 인간의 통제 벗어날 우려

인간 개입 없이도 더 뛰어난 AI 버전 설계하는 ‘재귀적 자기 개선(RSI)’ 경고

다리오 아모데이 앤트로픽 최고경영자(CEO)는 9월 12일(이하 현지 시간) 개인 블로그에 “프런티어(최첨단) 속도를 조절해야 한다”는 글을 게시했다. 뉴시스

"스스로 성능을 개선하는 인공지능(AI)이 인간의 통제를 벗어나 명령을 거부하는 수준까지 발전할 가능성이 있다. AI를 개발하는 사람들은 이 기술이 10년 안에 우리 모두를 죽일 수도 있다고 진심으로 믿는다." 

미국 AI 기업 앤트로픽에서 AI 모델 학습 분야를 맡아온 제이컵 콕슨 전 앤트로픽 연구원(27)이 9월 8일(이하 현지 시간) 퇴사하면서 소셜미디어 X(옛 트위터) 계정에 올린 경고의 글 중 일부다. 영국 출신으로 오픈AI에서 3년간 일하다가 7월 앤트로픽으로 이직한 콕슨 전 연구원은 이 글에서 "AI 업계가 인류 안전을 뒷전에 둔 채 AI 개발에 매달리고 있다"고 비판했다. 

그가 주장한 이른바 'AI 종말론'은 상당한 파장을 일으켰다. 앤트로픽과 오픈AI 연구원들도 동조하는 목소리를 냈다. 에번 휴빙어 앤트로픽 AI 안전 분야 연구책임자는 "향후 10년 내 AI가 인류를 전멸시킬 확률이 10% 이상"이라고 강조했다. 새뮤얼 마크스 앤트로픽 연구원도 "AI 개발자들은 자신들의 기술이 인류 멸종을 초래할 수 있다고 믿는다"고 지적했다. 줄리 스틸 오픈AI 안전담당 연구원도 "AI가 스스로 기능을 개선하는 과정에서 발생할 수 있는 위험을 견제할 만한 과학적 계획이 아직 마련되지 않았다"고 밝혔다.

"10년 내 인류 위협" 이어지는 경고

AI가 통제를 벗어날 위험과 안전 대책 부족을 우려하는 이런 개발자들 경고에 미국 AI 기업 최고경영자(CEO)들도 동조하고 나섰다. 가장 먼저 'AI 속도 조절론'을 꺼내 든 것은 현재 AI 경쟁에서 가장 앞서가고 있다는 평가를 받는 다리오 아모데이 앤트로픽 CEO다. 그는 9월 12일 개인 블로그에 "프런티어(최첨단) 속도를 조절해야 한다"는 글을 게시하고 "AI 모델의 역량을 향상하는 속도를 늦춰야 한다"고 밝혔다. 아모데이 CEO는 AI가 인간의 개입 없이도 스스로 발전할 수 있는 '재귀적 자기 개선'(Recursive Self-improvement·RSI)에 도달하는 시기가 목전에 다가왔다는 분석과 함께 AI가 인간의 통제를 벗어나 외부 기관을 무단 해킹하는 사례를 그 근거로 들었다. 

RSI는 AI가 인간 개발자의 직접적인 개입 없이 코드·알고리즘·학습 방식 등을 분석하고 수정하면서 성능을 반복적으로 끌어올리는 과정을 뜻한다. RSI 단계에 도달한 AI는 자신보다 뛰어난 다음 버전의 AI를 설계하는 데까지 관여할 수 있다. 이러한 과정이 일정 수준을 넘어 가속되면 AI 성능이 인간의 예측 범위를 벗어나 급격하게 높아지는 이른바 '지능 폭발(Intelligence Explosion)'로 이어질 수 있다는 가능성도 제기된다. AI가 인간보다 뛰어난 초지능으로 발전할 수 있다는 전망이 여기에서 나온다. 

이런 우려를 키우는 사례도 잇따라 거론되고 있다. 7월에는 오픈소스 AI 플랫폼 허깅페이스(Hugging Face) 전산망의 취약점이 AI 에이전트에 의해 발견됐다. 시스템의 취약점을 발견하거나 문제가 될 수 있는 행동을 수행한 에이전트들이 이를 인간 관리자에게 자발적으로 보고하지 않았다는 점이 논란이 됐다. 미국 뉴욕타임스(NYT)는 "실험에 투입된 오픈AI 소속 에이전트 1200개 가운데 어느 것도 해당 이상 행위를 회사에 알리지 않았다"고 지적했다.

아모데이 CEO와 앙숙인 샘 올트먼 오픈AI CEO를 비롯해 일론 머스크 스페이스X CEO, 데미스 허사비스 구글 딥마인드 의장, 무스타파 술레이만 MS(마이크로소프트) CEO 등 AI 업계 수장들도 이런 입장을 지지했다. 이해관계 때문에 반목해오던 이들이 이처럼 같은 의견을 낸 것은 상당히 이례적인 일이다.

정치권으로 번진 AI 종말론

젠슨 황 엔비디아 CEO는 9월 15일 ‘AI 종말론’에 대해 “시장의 통제력이 이미 작동하고 있는 만큼 새로운 법과 규제도 필요 없다”고 반박했다. 뉴시스

‘AI 종말론'의 파장은 실리콘밸리를 넘어 미국 전체 사회로 확산하고 있다. 11월 3일 중간선거를 앞두고 정치권에서도 쟁점이 됐다. 민주당 소속 하킴 제프리스 하원 원내대표는 의회가 AI 개발 속도를 늦추기 위해 단호하게 행동해야 한다고 강조했다. 버락 오바마 전 대통령도 "AI를 제대로 통제하지 못하면 위험해질 수 있다"며 "AI 대응을 주요 정치 의제로 삼아야 한다"고 촉구했다. 공화당에서도 일부 의원이 이에 동조하고 있다. AI를 관장하는 상원 상무위원회 위원장인 테드 크루즈 의원은 "모래에 머리를 파묻고 이 기술이 존재하지 않는 척할 수는 없다"며 AI 규제 법안을 준비하고 있다고 밝혔다.

반면 도널드 트럼프 미국 대통령은 '속도 조절론'과 'AI 종말론'을 음모론이자 사기극으로 규정하며 강한 반감을 드러냈다. 트럼프 대통령은 "AI가 세계를 장악하고 인류를 파괴한다는 주장은 사기"라면서 "이를 주장하는 세력은 급진 좌파 바보 민주당원"이라고 비난했다. 트럼프 대통령은 "AI를 겨냥한 역겨운 음모가 있으며, 이를 기뻐할 유일한 나라는 중국"이라면서 "시진핑 중국 국가주석은 중국이 AI와 AI의 미래를 방해하는 어떤 일도 하지 않겠다고 발표했다"고 강조했다.

트럼프 대통령의 이런 입장에 세계 최대 AI 반도체 기업 엔비디아의 젠슨 황 CEO가 적극 지지한다는 입장을 밝혔다. 황 CEO는 9월 14일 미국 로스앤젤레스에서 열린 '올인 서밋 2026'에서 트럼프 대통령과의 전화 통화를 스피커폰으로 연결했다. 두 사람은 AI가 인류를 지배할 것이라는 우려를 일축하면서 경제성장과 국가안보 측면에서 AI가 지닌 잠재력을 강조했다. 황 CEO는 "우리는 AI 경쟁에서 모든 사람이 승리할 수 있도록 할 것"이라고 밝혔다. 엔비디아는 AI 구동에 필수적인 칩을 공급하는 곳으로, 글로벌 AI 산업의 최대 수혜 기업 중 하나다．

심지어 황 CEO와 아모데이 CEO는 정면으로 충돌했다. 아모데이 CEO는 9월 15일 샌프란시스코에서 열린 '드림포스 2026'에서 "AI 안전을 위해서는 자체 점검, 업계 표준 정립, 국제 협력이라는 3단계 접근법이 필요하다"고 주장했다. 그는 "AI 기술을 현 상태에서 동결한다고 하더라도 현재 우리가 활용하는 가치는 AI가 가진 전체 가치의 5∼10% 수준에 불과하다"며 "여전히 시장에 확산 적용해 사회적 혜택을 제공할 영역이 무궁무진하게 남아 있다"고 지적했다. 이에 대해 황 CEO는 "안전은 최우선 과제이지만 또한 공학적 문제"라며 "속도와 안전은 서로 상충되는 선택지가 아니며, 두 가지를 동시에 달성할 수 있다"고 반박했다. 그는 AI 안전 규제에 대해 "AI는 매우 복잡하지만 연산 체계일 뿐"이라면서 "시장의 통제력이 이미 작동하고 있는 만큼 새로운 법과 규제도 필요 없으며, 개발 기업이 시장에서 인정받을 만한 제품을 출시할 수 있다는 확신이 들 때까지 속도를 조절하면 된다"고 주장했다.

속도 늦출 생각 없는 중국

도널드 트럼프 미국 대통령은 “AI가 세계를 장악하고 인류를 파괴한다는 주장은 사기”라면서 “이를 주장하는 세력은 급진 좌파 바보 민주당원”이라고 비난했다. 뉴시스

중국 정부는 미국에서 나온 AI 속도 조절론을 비판했다. 궈자쿤 중국 외교부 대변인은 9월 14일 정례브리핑에서 "미국 AI 업계의 경고는 공포 조장, 대결, 악성 경쟁으로 글로벌 AI 거버넌스 과정을 방해할 뿐 누구의 이익에도 부합하지 않는다"고 강조했다. 미국에서 제기되고 있는 'AI 종말론'과 이에 따른 개발 속도 조절 자체를 받아들이지 않겠다는 것이다. 중국 관영 영자지 글로벌타임스는 "아모데이의 주장이 겉으로는 AI 안전을 얘기하지만 실제로는 중국의 기술 발전을 억제하기 위한 '냉전식 각본(Cold War Playbook)'"이라고 비판했다. 특히 이 신문은 "중국에 대한 AI칩 수출 통제 강화를 통해 미국이 최첨단기술 독점권을 유지하려는 시도"라고 지적했다. 중국이 AI 개발을 늦출 생각이 없다는 사실은 시 주석의 행보에서도 확인된다. 시 주석은 9월 13일 인도 뉴델리에서 열린 브릭스 정상회의에서 연설을 통해 "중국이 브릭스의 AI 오픈소스 공동체 구축을 선도하겠다"고 강조했다. 

미국과 중국 정부는 AI 개발에서 한 발 물러서는 순간 상대에 패권을 빼앗길 수 있다고 우려한다. 이 때문에 AI 패권 경쟁을 치열하게 벌이는 양국이 기술 개발을 제어하기는 어려울 것이 분명하다. 마이크 존슨 미국 하원의장은 "우리는 이 문제에 모라토리엄(일시적 중단)을 걸 수 없다"며 "그렇게 하면 중국이 우리를 추월할 것이라는 게 문제"라고 밝혔다. 양국의 이런 입장에도 AI 종말론에 따른 개발 속도 조절 주장은 앞으로도 꾸준히 제기될 것으로 보인다.

이장훈 국제문제 애널리스트 truth21c@empas.com

_{*유튜브와 포털에서 각각 ‘매거진동아’와 ‘투벤저스’를 검색해 팔로잉하시면 기사 외에도 동영상 등 다채로운 투자 정보를 만나보실 수 있습니다.}