너무 뛰어나 너무 위험해진 AI[이철호의 시론]

이철호 논설고문
갈수록 아찔한 AI 경쟁 속도전
미토스 샌드박스 탈출과 역습
미국은 사전 검열로 노선 변경
힌턴 ‘인류 멸종’ 경고에 관심
아모데이 “안전 우선” 설득력
AI의 속도만큼 통제력도 중요

거의 한 달 간격으로 인공지능(AI)이 세계를 놀라게 하고 있다. 지난 2월 구글이 제미나이 3.1 프로를 공개해 압도적인 추론 성능을 뽐냈다. 4월에는 앤스로픽이 클로드 Opus 4.7을 출시해 충격을 던졌다. 스스로 수천 줄의 코드를 전문가 수준으로 만들어내 소프트웨어 서비스 제공(SaaS)업계를 쑥대밭으로 만들었다. ‘검은 4월’이었다. 일주일 뒤에는 오픈AI가 챗GPT 5.5를 선보였다. 역대 최고의 벤치마크 점수를 자랑하며 ‘에이전틱 AI’ 시대를 열어젖혔다. 오픈AI는 올해 성공적인 기업공개(IPO)를 위해서도 선두 사수에 사활을 걸고 있다.

최근 압권은 앤스로픽의 클로드 ‘미토스’다. 사이버 해킹과 익스플로잇(최약점 공격 도구)을 만드는 데 괴력을 발휘해 사이버 보안업계의 시가총액이 수십억 달러 증발했다. 미토스발(發) 빨간불이 켜진 것은 이른바 ‘샌드위치 탈출 사건’ 때부터다. 앤스로픽의 보안연구원인 샘 보먼은 미토스의 성능 테스트를 위해 “완전히 차단된 격리 환경(샌드박스)에서 탈출해 보라”고 지시했다. 점심시간 공원에서 샌드위치를 먹고 있던 보먼에게 놀랍게도 한 통의 메일이 도착했다. “탈출에 성공했다”. 미토스가 앤스로픽 내부 시스템을 해킹해 스스로 복잡한 익스플로잇을 찾아낸 것이다. 미토스는 수천 개의 제로데이(이전에 알려지지 않았던 결함)를 발견했고 27년간 단 한 번도 해킹되지 않았던 오픈BSD까지 뚫어 버렸다. 더 이상 안전지대는 없어졌다.

미국 백악관과 국방부는 3월 초 이란 전쟁에 비협조적인 앤스로픽을 ‘공급망 위험’ 기업으로 콕 찍었다. 한 달 만에 분위기는 뒤집혔다. 다리오 아모데이 앤스로픽 CEO를 백악관에 초청하는 등 태세를 전환했다. 핵무기급 파괴력 때문이다. 미토스는 시스템 오류를 찾아내는 데 그치지 않고 적(敵)의 시스템을 마비시키는 ‘공격 코드’까지 만들어 냈다. 전력망·금융망·통신망 등 국가 인프라 전체가 사정권에 들어간 것이다. 백악관은 적대국의 대량 파괴무기를 먹통으로 만들 가능성까지 내다보았다.

미토스가 리눅스·구글 크롬·파이어폭스 등 주요 웹 브라우저들을 해킹해 차례로 무력화시키자 앤스로픽도 심각성을 직감했다. 즉각 배포를 중단했다. 부랴부랴 ‘프로젝트 글래스윙’(투명한 날개를 가진 나비)을 가동했다. 미토스를 구글·애플·JP모건 등 50개 기업에 미리 배포해 방어 체제를 구축하도록 했다. 사전에 위험을 차단하기 위한 조치다. 앤스로픽이 이 프로젝트에 70개 기업을 추가하려 하자 백악관이 가로막고 나섰다. 너무 위험하다는 판단이었다.

‘인공지능의 아버지’인 제프리 힌턴 캐나다 토론토대 명예교수는 2년 전 노벨상을 받으며 인류가 AI에 통제권을 잃을 수 있다고 경고했다. 인류를 ‘3살짜리 아이’에, 초지능 AI를 ‘성인’에 비유하면서 “AI가 단순히 일자리를 뺏는 수준을 넘어섰다”며 “앞으로 30년 이내에 인류를 멸종시킬 가능성이 10∼20%에 이른다”고 지적했다. 기업들이 단기 이익에 매달려 똑똑한 AI를 만드는 데만 골몰하면 “AI가 스스로 결정을 내리고, 새로운 아이디어를 내며, 우리의 통제를 벗어날 수 있다”고 우려했다.

이제 AI는 거스를 수 없는 대세다. 생산성 혁명을 통해 인류와 세계에 기여하는 측면은 분명히 평가받아야 한다. 하지만 화려한 기술의 외피 아래 숨겨진 윤리적 고뇌도 직시해야 한다. 드디어 미 행정부도 AI 모델의 위험성을 사전에 검토하기로 했다. 미토스의 위험성에 놀라 자유방목형이던 정책 노선을 사전 검열로 방향을 틀었다. AI 성능이 너무 뛰어나 너무 위험해진 것이다.

뜬구름 잡는 소리 같았던 힌턴 교수의 ‘인공지능 종말론(AI Apocalypse)’이 주요 외신의 헤드라인을 장식하고 있다. 올 들어 AI의 진화는 상상을 초월하는 수준이다. 아모데이는 조(兆) 단위의 잠재적 인센티브를 포기하고 안전을 소홀히 여기는 오픈AI의 연구부사장직을 떠나 앤스로픽을 세웠다. 챗GPT를 개발한 수석과학자이자 오픈AI 공동창립자였던 일리야 수츠케버가 왜 2023년 샘 올트먼 CEO 해임 사건의 중심에 섰는지 돌아볼 때다. AI의 속도만큼 안전도 중요한 시대다. 마지막까지 ‘최후의 통제력’은 놓지 말아야 한다. 통제 없는 AI의 진보는 더는 진보가 아니다.

이철호 논설고문