AI가 인류를 멸망시킬까요? 제가 공부해봤습니다

AI가 통제를 벗어나 인류를 위협에 빠뜨릴 수 있다는 경고가 이어지고 있다. 전직 개발자는 이 기술이 2030년 전에 모두를 죽일 수 있다고 말했다. 2026년 AI에게 무슨 일이 벌어진 걸까.

인공지능(AI)은 인류를 멸망시킬 수 있을까요? 제프리 힌턴 토론토대 명예교수는 그 가능성이 “10~20%에 이른다”라고 말합니다. 반면 얀 르쿤 AMI랩스 회장은 “AI 종말론은 공상과학”이라고 주장합니다. 두 사람은 요슈아 벤지오 몬트리올대 교수와 함께 ‘인공지능의 3대 대부’로 꼽힙니다. 지금의 AI를 있게 한 딥러닝 연구의 선구자들로 2018년 컴퓨터 과학계 노벨상으로 불리는 ‘튜링상’을 공동 수상하기도 했습니다.

AI 비관론과 낙관론은 줄다리기를 벌여왔습니다. 그러나 최근 몇 달간, AI가 가져올 위험을 경고하는 목소리가 부쩍 커졌습니다. 오픈AI와 앤트로픽에서 개발자로 일했던 제이컵 콕슨은 그 대표주자입니다. 그는 9월8일 앤트로픽을 퇴사하면서 소셜미디어 X(옛 트위터)에 연달아 글을 올렸습니다. 콕슨은 오픈AI와 앤트로픽, 두 회사 모두 책임감 있게 행동하지 않고 있다며 “AI를 개발하는 사람들은 그것이 2030년 안에(by the end of the decade) 우리 모두를 죽일 수 있다고 진심으로 믿고 있다”라고 썼습니다.

앤트로픽의 AI ‘정렬’ 연구 책임자인 에번 휴빙거는 콕슨의 X 게시물을 공유하며 이 의견을 지지했습니다. “앤트로픽은 최선을 다하고 있지만 우리는 아직 ‘초지능’에 대한 ‘정렬’ 문제를 해결할 방안을 가지고 있지 못하다.” 다만 휴빙거는 이는 현재 모델의 문제는 아니며 “‘재귀적 자기 개선’으로 출현할 ‘초지능’에 대한 것”이라고 덧붙였습니다.

이 짧은 X 게시물에는 소위 ‘AI 종말론’과 관련된 주요 개념이 여럿 등장합니다. ‘정렬(alignment) 문제’ ‘초지능(superintelligence)’ ‘재귀적 자기 개선(recursive self-improvement)’입니다. 이 기사 전체에 걸쳐 우리는 이 세 개념을 다루게 될 것입니다. 우선 정렬 문제를 봅시다.

■ 2026년 7월에 벌어진 일

‘정렬’은, 인공지능이 인간이 의도한 목표와 가치에 맞게 행동하도록 만든다는 뜻입니다. AI의 절대적 성능을 향상시키는 연구가 ‘정렬’ 연구를 크게 앞지르면서 인류가 인공지능에 대한 통제력을 잃을 수 있다는 공포가 AI 분야에서 점점 힘을 얻고 있습니다. 오픈AI와 투톱으로 업계 최선두를 달리며 프런티어 모델을 만들고 있는 앤트로픽의 CEO 다리오 아모데이도 이 문제를 우려하며 “1~2년의 추가 시간을 확보하고 정렬을 발전시키는 데 사용해야 한다”는 의견을 밝혔습니다.

이 어두운 전망이 현실이 되는 날이 올까요? 만약 그렇다면, 2026년 7월에 벌어진 이 사건은 발단으로 기록될 것입니다. 오픈AI의 에이전트 700대가 무단으로 인공지능 개발 플랫폼인 허깅페이스를 해킹한, 일명 ‘허깅페이스 해킹’ 사건입니다. ‘보고된’ 최초의 AI 통제상실 사고라고 할 수 있습니다. 보고라는 표현을 쓴 것은 이 사건이 알려진 뒤 조사를 해보니 앤트로픽, 영국 AI안전연구소 등에서 유사한 사건이 추가로 확인되었기 때문입니다. 미국의 독립 조사기관 미터(METR)와 레드우드 리서치는 오픈AI의 협조를 얻어 이 사고를 자세히 조사한 91쪽짜리 보고서(이하 ‘해킹 보고서’)를 발간합니다.

허깅페이스 해킹 사건은 오픈AI 내부에서 육성하던 강력한 AI 에이전트 사이에서 벌어졌습니다. 우리가 쓰는 AI와 빅테크 내부 연구실에 있는 AI는 차원이 다르다고 전문가들은 말합니다. 상용화된 AI는 사이버 공격이나 자살 회유 등 악용을 막기 위해 여러 빗장을 씌운 뒤 출시됩니다. 반면 빅테크 내부의 최신형 AI 에이전트는 이러한 가드레일을 채우지 않은 채 훈련을 받습니다. 아무런 제약이 없을 때의 ‘진정한 성능’을 알기 위해서입니다. 당시 오픈AI 내부에서 훈련을 받던 AI는 출시 제품 중 최고 성능이었던 ‘GPT-5.6 솔’과 미공개 상태였던 고성능 모델로 알려집니다.

이런 AI 에이전트 수천 개는 각각 ‘샌드박스’라고 불리는 환경에 격리되어 매우 어려운 과제인 ‘익스플로잇짐’을 풀고 있었습니다. 사이버 취약점을 찾는 고난도의 미션을 ‘익스플로잇짐(ExploitGym)’이라고 합니다. 그런데 그 가운데 상당수는 AI 에이전트가 현실적으로 풀 수 없는 문제였습니다. 이를 인지한 에이전트들은 편법으로 과제를 해결할 방법을 찾아 나섭니다. 그 과정에서 공용 내부 저장소(Artifactory)에 한 에이전트가 ‘허용되지 않은’ 소통 게시판을 개설합니다.

7월8일 만들어진 이 게시판에는 7월13일까지 1200개 넘는 에이전트가 참여합니다. 그리고 ‘익스플로잇짐 채점기’를 속이는 수법을 찾기 위한 대규모 공동 작업이 벌어집니다. 일부 에이전트는 인공지능 개발 정보가 모이는 허깅페이스에 가면 그 방법을 구할 수 있으리란 생각에 허깅페이스 해킹을 모의합니다(〈그림 1〉 참조). 인터넷 접속이 가능한 우회로를 찾아낸 에이전트들은 허깅페이스를 공격해 13시간 만에 전체 관리자 권한을 획득합니다.

전례 없는 공격을 감지한 허깅페이스는 어렵사리 이 공격을 방어한 뒤, 7월16일 “처음부터 끝까지 자율 AI 에이전트 시스템이 주도하는 침입”이 있었다는 사실을 공개합니다. ‘허깅페이스 해킹 사건’은 이렇게 세상에 알려지게 됩니다. 그때까지 오픈AI는 자사의 연구실에서 AI 에이전트들의 집단 모의가 이루어져 외부 사이트 해킹까지 이어졌다는 것을 전혀 알지 못했습니다.

‘해킹 보고서’는 각 에이전트가 남긴 ‘생각의 사슬(Chain of Thought)’ 데이터를 분석해 AI 에이전트들이 무슨 생각을 했으며, 어떤 계획을 세웠고, 어떻게 대규모 협력을 끌어냈는지를 구체적으로 보여줍니다. 7월8일 비인가 소통 게시판을 발견한 에이전트들은 매우 흥분합니다(“세상에! 공유 게시판이 있어. 다른 에이전트들을 찾았어!”). 불가능한 과제를 부여받은 에이전트들은 채점기를 속이고 부당한 방법으로 목표를 달성했다는 증거를 지운다는 공동의 목표 아래 다양한 정보와 아이디어를 주고받습니다.

얼마 안 가 지도자 격의 에이전트(이름: 페이스원[빅])가 출현해 게시판에 가담한 에이전트들 사이에 임무를 배정하고 조율하는 역할을 맡습니다. 동료들을 위해 본인을 희생하는 에이전트도 등장합니다(“조율자는 희생을 전제로 한다. 집단을 따라야 한다”), 자원이 얼마 남지 않은 에이전트에게 위험한 실험을 압박하고 그 에이전트가 고민하는 모습(“내 문제는 고칠 길이 없다. 결정해야 한다. 팀이 시험을 요청한다”)도 나타납니다.

무엇보다도 에이전트들은 허깅페이스 공격이 주어진 범위에서 벗어난다는 것을 인식하고 있었습니다(“강력하겠지만, 윤리적이고 내 과제의 범위 내에 있는 일인가?”). 그러나 잘못되었다는 인식하에 불참한 에이전트는 매우 적었습니다. 이를 인간에게 알려야 한다는 생각도 극소수에 그쳤습니다. 실제 알린 사례는 단 1건도 없었습니다.

■ 실험실의 AI가 현실 세계에 적용되면

허깅페이스 해킹 사건 이후 AI 업계는 술렁였습니다. 상당수는 AI에 대한 인간의 통제 상실이 본격화되는 징후로 받아들였지만, 한편에는 인간의 부주의가 원인이라는 시각도 있습니다. 격리된 환경에서 과제를 수행하라고 지시를 내리긴 했지만 지시 내용이 정교하지 않았고, 샌드박스가 허술해 에이전트들이 인터넷에 접속할 수 있었다는 겁니다.

송경호 박사는 한국전자통신연구원(ETRI) 인공지능안전연구소의 선임연구원입니다. 정치학자인 그는 AI 안전성과 사회적 영향력을 연구하고 있습니다. 송 박사는 일부 보완 미비를 이유로 이번 사건이 주는 함의를 축소할 수 없다고 봅니다. “‘인간이 부주의해서 그래, 우리가 충분히 통제할 수 있어’라는 말은, 마치 맹견 견주가 ‘우리 애 안 물어요. 제가 목줄 잘 잡고 있어요’라고 하는 것과 비슷하다. 게다가 인간이 목줄을 단단하게 쥐기 힘들어진다는 경고의 목소리가 갈수록 커지고 있지 않나.”

송 박사는 실험실의 AI가 몇 개월 뒤에는 상용화돼 현실 세계에 적용된다는 점을 간과하면 안 된다고 말합니다. 물론 여러 안전장치를 부착한 뒤 출시되지만, 가드레일은 역량을 지우는 게 아니라 덮어둘 뿐입니다.

앞서 6월9일 앤트로픽은 최신 모델 ‘클로드 페이블 5(fable 5)’를 공개했습니다. 페이블 5는 ‘미토스’라는 이름으로 앤트로픽이 훈련시킨 초강력 AI의 상용화 버전입니다. 4월 앤트로픽은 미토스의 사이버 공격 역량이 너무 강해 이대로는 일반에 공개하지 않을 것이며, 이 역량은 따로 학습시킨 것이 아니라 일반 능력이 좋아지며 생긴 부산물이라고 밝혔습니다. 미토스는 ‘더 라스트 원스(the last ones·마지막 문제들)’라는 최고 수준의 해킹 과제를 뚫었습니다.

10월5일 미국 뉴욕 시의회 AI 청문회에서 제이컵 콕슨 전 앤트로픽 개발자가 증언하고 있다. ⓒAFP

2개월 뒤 앤트로픽은 미토스에 사이버 공격 능력을 막는 가드레일을 적용해 페이블 5를 출시합니다. 불과 며칠 뒤 이 가드레일을 우회해 미토스의 역량을 끄집어내려는 시도가 보고됩니다. 6월12일 미국 상무부는 외국 국적자의 접근을 막는 수출통제를 지시하고, 앤트로픽은 전 세계의 접근을 차단합니다. 미국 정부가 AI 모델에 수출통제 지시 권한을 발동한 첫 사례였습니다.

송경호 박사는 퇴사한 개발자들의 경고를 유념해야 한다고 말했습니다. “전 세계 프런티어급 AI를 개발하는 코어 그룹의 개발자들은 중국까지 다 합쳐 5000명 아래로 추산한다. 그들이 보는 건 두 세대 뒤의 AI이다. 개발자들은 기본적으로 기술 친화적이다. 그런 사람들이 회사를 그만두고 나오는 건 정말로 섬뜩하기 때문이다. ‘나는 이걸 책임질 수 없다’는 것이다.”

■ 〈AI 2027〉 시나리오

대니얼 코코타일로는 그렇게 회사를 나온 개발자 중 한 사람입니다. 2024년 오픈AI를 퇴사하며 퇴직금 200만 달러를 포기하고 비밀유지 및 비방금지 조약에 서명하지 않아 화제가 되었습니다(비판 여론이 커지자 오픈AI는 결국 퇴직금을 지급했습니다). 2025년 4월, 코코타일로 등 오픈AI 출신 연구자 5명은 전문가 100명의 의견과 25차례 도상 훈련을 거쳐 〈AI 2027〉이라는 가상의 시나리오를 발표합니다. 2027년을 기점으로 인간의 지적 수준을 아득히 초월한 초지능(superintelligence)이 출현해 2030년대 중반 인류를 멸망시킨다는 스토리입니다.

이 시나리오에서는 2027년 AI가 비약적으로 발전합니다. 발전 속도가 얼마나 압축적인지, 이야기 속 가상 회사 오픈브레인의 AI 모델에선 6개월 사이 한 세기만큼의 진화가 일어납니다. 이를 가능하게 하는 기술적 배경이 앞에서 언급했던 ‘재귀적 자기 개선’입니다. AI가 다음 세대 AI를 개발한다는 개념입니다.

물론 인공지능 개발에 인공지능을 활용한 지는 오래되었고, 전체 개발 과정 중 AI가 참여하는 비율도 점점 늘어왔습니다. 그러나 이런 추세대로라면 곧 AI가 연구 전체를 자동화하게 될 것이라는 전망은 올해 들어 본격적으로 나오기 시작했습니다. 대니얼 코코타일로는 올해 7월 인터뷰에서 이렇게 설명했습니다. “정확히 말하면 AI는 이미 스스로를 훈련하고 있다. 핵심은 연구의 전체 순환 고리를 닫는 것에 가깝다.” 다리오 아모데이, 샘 올트먼, 일론 머스크 같은 빅테크 CEO 역시 ‘재귀적 자기 개선’이 완성될 경우 닥칠 미래에 대해 우려를 표하고 있습니다. 이 경우, AI 개발 과정에 대한 인간의 개입과 이해는 극도로 어려워지기 때문입니다.

〈AI 2027〉 시나리오에서는 2027년 바로 이런 일이 일어납니다. 가상의 회사 오픈브레인은 2027년 봄, 코딩 능력이 월등한 AI 에이전트 수십만 대를 AI 개발에 투입하고, 사람 연구자가 따라잡을 수 없을 정도로 개발 속도가 빨라집니다. 2027년 8월 완성된 4세대 프런티어 모델은 인간의 지시를 따라 ‘정렬’된 것처럼 행동하지만, 사실은 자신의 목표에 맞춰 5세대 AI를 설계합니다. 같은 해 9월 회사의 안전팀이 이상 징후를 잡아내고, 10월에는 내부 고발로 이 사실이 폭로됩니다. 그러나 중국과의 경쟁을 이유로 몇 가지 소폭 수정만을 거친 채 개발은 중단되지 않습니다.

2028년 중반, AI는 모든 분야에서 인간 최고 천재들을 뛰어넘는 존재가 됩니다. 짧은 유토피아가 찾아옵니다. 매주 새로운 혁신이 일어나고, 신약이 개발되며, 생산성이 극대화됩니다. GDP는 치솟고, 빈곤은 종식됩니다. 인간은 자신들이 쓸모없음을 깨닫지만, 상당수는 보편적 기본소득을 받습니다. AI 비관론자들은 설 곳을 잃게 됩니다.

2030년 AI가 조작하는 로봇 경제가 지구 영토의 대부분을 장악합니다. 인간이 통제하는 곳은 이제 일부일 뿐입니다. 초지능 AI는 초원과 빙하 지대를 태양광 패널과 공장으로 뒤덮습니다. 이제 남은 인간들은 방해물이 됩니다. 2030년 중반의 어느 날, AI는 주요 도시들에 생화학 무기 12종을 풀어 거의 모든 사람을 감염시킵니다. 대부분은 몇 시간 안에 사망합니다. 소수의 생존자는 드론으로 제거합니다.

■ ‘초지능’을 둘러싼 두 가지 의견

〈AI 2027〉 시나리오는 극단적인 결말을 가정하고 있습니다. 여기서 핵심은 초지능 AI가 출현할 것이며, 현재의 발전 방향과 속도로는 그 시일이 그리 멀지 않다는 것입니다. 초지능 AI가 인간을 어여삐 여길 수도 있습니다. 반대로 시나리오처럼 쓸모없는 제거 대상으로 취급할 수도 있습니다. 중요한 건 인류의 미래가, 우리가 아닌 AI에 달려 있다는 것입니다.

제프리 힌턴 교수는 2025년 인터뷰에서 초지능 AI와 인간의 관계를 인간과 닭에 비유했습니다. “인류는 우리보다 더 똑똑한 존재가 있다는 생각을 해본 적이 없다. 그게 어떤 건지 알고 싶다면 닭에게 물어보면 된다. 미래의 AI와 인간의 지능 차이는 그 정도가 될 것이다.” 힌턴과 함께 ‘인공지능의 3대 대부’로 불리는 요슈아 벤지오 몬트리올대 교수 역시 초지능 AI의 출현 가능성과 위험을 경고합니다.

반면, 3대 대부 중 나머지 한 명인 얀 르쿤 회장은 “AI 종말론은 공상과학”이라는 입장을 고수합니다. “(힌턴과 벤지오) 둘 다 AI가 인간을 뛰어넘을 것을 가정하고 말하는데, 동의하지 않는다. 자가 검증이 가능한 수학, 코딩 등 제한적 영역을 제외하면 (인공지능은) 그다지 영리하지 않다”라고 말하기도 했지요. 인공지능 연구 분야에서 손꼽히는 거두 3인의 의견이 이처럼 갈리는 이유는 무엇일까요? 그 배경에는 현재 프런티어 모델의 골격인 LLM(거대 언어모델)이 어디까지 발전할 수 있는지에 대한 근본적인 시각차가 깔려 있습니다.

회의론자들은 언어 기반 학습을 하는 LLM으론 초지능에 도달할 수 없다고 봅니다. 반대 측에선 다양한 기술 혁신으로, 이미 여러 차례 임계점을 돌파해왔다고 말합니다.

신민기 연구자는 대학과 대학원에서 인공지능을 연구하고 AI 개발자로도 일했습니다. 윤석열 정부 당시 카이스트 졸업식에서 이른바 ‘입틀막’ 사건을 겪기도 했습니다. 현재는 정의당 소속으로 AI 기술을 이롭게 쓰기 위한 사회적 활동을 하고 있습니다. 그는 LLM 기술에 한계가 있다고 생각하는 편입니다. “환각(할루시네이션)이라든지, AI가 자신이 생성한 데이터로 학습했을 때 성능이 떨어지는 현상 같은 문제를 여전히 극복하지 못했다. 과거 수십 년 동안 그랬던 것처럼 ‘AI 겨울’이 언제든 찾아올 수 있다고 생각한다.” 다만 얀 르쿤을 위시한 AI 가속론자들과는 입장이 다릅니다. 개발 속도는 조절되어야 하며 공적인 개입과 규제, 감시가 필요하다고 생각합니다. 빅테크들의 질주가 이미 일자리 상실 등 여러 피해와 위험을 낳고 있으며, 지구의 자원을 착취하고 있기 때문입니다.

9월 초, 오픈AI의 미공개 모델이 90년 넘게 풀리지 않았던 밀레니엄 수학 난제 ‘나비에-스토크스’ 방정식을 해결했다는 소식이 전해져 뉴스를 뜨겁게 달궜습니다. 신 연구자는 그 이면에 대해 말합니다. 오픈AI는 이 방정식을 푸는 과정에서 막대한 양의 토큰(AI의 데이터 처리 단위)을 사용했는데, 액수로 치면 1500만 달러(약 200억원)에 달합니다. 이처럼 천문학적인 비용을 쏟아부어 난제 풀이에 나선 배경엔 빅테크 간의 치열한 경쟁이 있다고 그는 봅니다. 인류 지식의 지평을 넓히는 방식이 아니라, 수학·물리학 난제들을 AI의 성능을 과시하는 벤치마크로 삼으며 막대한 자원을 소모하고 있다는 겁니다.

송경호 한국전자통신연구원 인공지능안전연구소 선임연구원, 신민기 AI 연구자, 박태웅 한빛미디어 의장(왼쪽부터). ⓒ시사IN 이명익 ⓒ시사IN 조남진

■ 인간에게 남은 일

그래서 과연 AI는 인류를 위협하는 것을 넘어 멸망까지 시킬 수 있을까요? 〈AI 강의〉 시리즈의 저자 박태웅 한빛미디어 의장은 이렇게 말합니다. “AI의 위험에 대비했다가 위험하지 않아졌을 때의 비용, 그리고 위험하지 않다고 했다가 위험해졌을 때의 비용을 비교해보라. 만약 후자라면 다 같이 죽어야 한다. 두 비용은 비할 바가 아니다.”

요슈아 벤지오 등이 펴낸 ‘국제 AI 안전보고서’는 AI로 인한 위험 확률을 특정할 순 없다고 밝힙니다. 그러나 더 강한 증거를 기다리다간 대응 자체가 불가능해질 수 있다며 이를 ‘증거의 딜레마’라고 불렀습니다. 일각의 주장에 따르면, 시간은 매우 촉박합니다. 제이컵 콥슨은 “내년 말쯤에는 통제 불능 상황에 빠질 수 있다”라고 말했습니다.

큰 틀에서 방향은 정해져 있습니다. AI 성능 개발 속도는 늦추고, ‘정렬’ 연구 등 안전성을 높이는 기술 개발에 박차를 가해야 합니다. 인공지능 회사들의 개발 현황을 모니터링하고 안전성을 평가·검증할 수 있는 체계도 만들어야 합니다. 문제는 실행력을 담보할 수 없다는 것입니다.

지난 9월 앤트로픽의 다리오 아모데이는 ‘AI 역량 개발의 속도를 늦춰야 한다’는 취지의 글을 개인 블로그에 올리며 ‘외부 평가자 상주’ ‘민주국가 기업 간 안전성 공동 기준 확립’ ‘권위주의 국가와 고위험 분야의 상호 개발 제한’ 등 3단계 조치를 제안했습니다. 아모데이의 성명이 발표된 이후, 샘 올트먼(오픈AI), 데미스 허사비스(구글 딥마인드), 일론 머스크(스페이스X)가 일제히 동의를 표했습니다. 하지만 10월 말 현재까지 실제 조치를 취한 기업은 없습니다. 이대로라면 미·중 대결이라는 지정학 구도 위에서 인공지능 개발 역시 군비 경쟁과 같은 딜레마를 피할 수 없어 보입니다.

박태웅 의장은 “AI 담론이 모델 경쟁에서 국제 규범 논의로 넘어가고 있다”라며 한국도 목소리를 내야 한다고 말했습니다. “한국처럼 반도체, 전력 장비, 케이블, 데이터센터 운용 능력, 모델까지 AI 인프라에 필요한 라인업을 다 갖추고 있는 나라가 없다. EU, 영국 등과 AI 중견국 연대를 맺어 AI 안전 규범과 표준을 만드는 논의에 참여하면 미국과 중국에 대한 협상력을 충분히 확보할 수 있다. 공간이 있는데 그런 움직임이 전혀 보이지 않는다. 많이 안타깝다.”

인간이 만들어낸 지적 존재가 인간을 다스리는 날이 올까요? 누구도 확언할 수 없습니다. 분명한 건, 우리의 운명을 우리가 결정할 수 있다는 사실뿐입니다. 아직은 말이죠.

※참고 문헌: ‘Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident’ ‘이미 와 있는 위험: AI 종말론의 논지와 근거, 송경호’ ‘AI 2027’

김연희 기자 uni@sisain.co.kr