AI 석학 22명 “AI 지능폭발 다가와…통제 못하면 인류멸망”

힌턴·벤지오 등 AI 연구자 22명이 AI가 AI 개발을 도맡으면 ‘지능 폭발’이 올 수 있다며 대비를 촉구했다. 챗GPT 생성 이미지

인공지능(AI)이 AI 개발을 도맡으면 수년 치 기술 진보가 몇 달 안에 몰아치는 ‘지능 폭발’이 일어날 수 있다는 경고가 나왔다. 연구진은 최악의 경우 인류가 AI에 대한 통제력을 잃고 소외되거나 멸종에 이를 가능성까지 거론했다.

AI 분야 주요 연구자 22명은 최근 영국 케임브리지대 AI 과학·정책 프로그램(CASP)을 통해 ‘AI 연구개발(R&D)의 자동화가 지능 폭발을 촉발한다면?’ 제목의 논문을 공개했다.

연구에는 ‘AI 대부’로 불리는 제프리 힌턴 토론토대 명예교수와 요슈아 벤지오 몬트리올대 교수가 참여했다. 야쿠프 파호츠키 오픈AI 수석과학자, 잭 클라크 앤스로픽 공동창업자, 에릭 호비츠 마이크로소프트(MS) 최고과학책임자(CSO)도 이름을 올렸다.

● 완전 자동화 땐 1년 반 만에 AI 발전 속도 10배

논문에 따르면 AI 기업들은 이미 개발 업무의 상당 부분을 AI에 맡기고 있다. 앤스로픽 코드베이스에 병합된 코드 가운데 AI가 작성한 비중은 지난해 초 한 자릿수 수준에서 올해 5월 80% 이상으로 늘었다.

AI가 인간의 감독 아래 R&D 작업 대부분을 스스로 수행하는 비율도 빠르게 높아지고 있다. 앤스로픽에 따르면 올해 2월 1% 미만이던 이 비율은 8월 26%까지 뛰었다.

연구진은 이런 추세가 이어질 경우 현재 수개월이 걸리는 복잡한 AI R&D 프로젝트 전체를 2년 안에 자동화할 가능성이 있다고 봤다. AI가 더 나은 AI를 개발하고, 그렇게 개발된 AI가 다시 다음 AI를 개선하는 재귀적 자기개선(RSI) 단계에 접어들면 기술 발전 속도가 폭발적으로 빨라질 수 있다는 것이다.

완전 자동화 이후 다른 제약이 없다면 약 1년 반 만에 AI 발전 속도가 10배로 빨라질 수 있다는 전망도 나왔다. 지금 속도로 1년 걸릴 진보가 약 5주 만에 이뤄지는 셈이다.

● 인간만으론 역부족…“감독관 상주시키고 비상 계획 세워야”

연구진은 지능 폭발이 기술 혁신과 신약 개발 등을 앞당길 수 있다고 봤다. 반면 발전 속도가 사회의 적응 능력을 넘어설 경우 노동시장과 국가 안보, 권력 구조 등에 큰 충격을 줄 수 있다고 경고했다.

논문 공동 저자인 던 송 메타 AI연구 부사장은 미국 월스트리트저널(WSJ)에 “우리는 이미 에이전트가 하는 일을 감시하는 데 AI 시스템이 필요한 단계에 와 있다”며 “인간만으로는 이미 역부족”이라고 말했다.

연구진은 AI에 대한 통제력을 잃을 경우 “극단적으로는 인류의 소외나 멸종을 포함한 파국적 결과로 이어질 수 있다”고 경고했다.

대응책으로는 각국 정부가 AI 기업에 R&D 자동화 수준을 보여주는 지표를 보고하도록 의무화하는 방안이 제시됐다. 미국 원자력규제위원회(NRC)나 통화감독청(OCC)처럼 감독 인력을 기업에 상주시켜 상황을 직접 파악하는 방안도 내놨다.

안전 기준을 충족하지 못할 경우 특정 AI R&D 작업을 늦추거나 중단할 수 있는 장치를 마련하고, 급격한 노동시장 변화와 지정학적 충격 등에 대비한 비상 계획을 세워야 한다는 제안도 담겼다.

연구진은 지능 폭발이 실제로 일어날 것이라고 확신하긴 어렵지만, 일단 시작되면 정책과 제도가 따라잡기 어려운 만큼 사전에 대비해야 한다고 주장했다.

연구진은 “지능 폭발이 시작되면 행동할 수 있는 기회가 사라질 수 있다”며 정책 결정이 지능 폭발 속도를 따라가지 못하는 만큼 대비책을 미리 세워야 한다고 밝혔다.

김영호 기자 rladudgh2349@donga.com