AI 대부들 "통제 불능 '지능 폭발' 온다"…각국 정부에 대비 촉구

오픈AI·앤트로픽 고위 인사도 참여…"진보 속도 수년→수개월"
"AI 통제권 상실 위험"…생물학·사이버 위협 가속 우려도

2024 노벨 물리학상을 수상한 제프리 힌턴 캐나다 토론토대 명예교수가 8일(현지시간) 스웨덴 스톡홀름 대학교에서 노벨상 수상자 강연을 하고 있다. 2024.12.8 ⓒ 뉴스1 박지혜 기자

(서울=뉴스1) 윤다정 기자 = 현대 인공지능(AI)의 '대부'로 불리는 석학들과 오픈AI·앤트로픽 고위 인사들이 AI가 스스로를 개선하며 발전 속도가 폭주하는 '지능 폭발'에 대비해야 한다고 각국 정부에 경고했다.

28일(현지시간) 영국 가디언에 따르면 노벨 물리학상 수상자인 제프리 힌턴 교수와 요슈아 벤지오 캐나다 몬트리올대 교수 등 20여명은 'AI 연구개발 자동화가 지능 폭발을 촉발한다면?'이라는 제목의 보고서를 통해 이같이 밝혔다.

힌턴 교수와 벤지오 교수는 AI의 기반이 된 딥러닝(심층학습) 기술을 발전시킨 공로로 AI 분야의 대부로 꼽힌다. 잭 클라크 앤트로픽 공동창업자와 야쿠프 파호츠키 오픈AI 수석과학자도 보고서에 이름을 올렸다.

보고서는 지능 폭발을 'AI가 주도하는 AI 발전의 급격한 가속'으로 정의하고, 원래 수년이 걸릴 기술 발전이 수개월 이하로 압축되는 상황이라고 설명했다.

핵심은 AI가 인간의 개입 없이 스스로를 개선하는 '재귀적 자기개선'이다. AI가 연구개발에서 전문가 수준에 이르면 개발자 한 명이 최고 수준의 인간 연구자 수백만 명에 맞먹는 연구 인력을 운용할 수 있다는 것이다.

저자들은 AI가 이미 자사 기술 개선에 투입되고 있고, 개선된 시스템을 곧바로 배치할 수 있다는 점에서 연구개발 자동화를 지능 폭발의 가장 유력한 촉발 요인으로 꼽았다.

실제로 앤트로픽은 자사 코드의 80%를 AI가 작성한다고 밝혔으며, 오픈AI도 새 모델 훈련 등에 자율형 AI 에이전트를 투입하고 있다.

보고서는 "지능 폭발은 AI에 대한 인간의 통제를 위협하고, 국가와 기업, 정부 부처 안팎의 권력 견제 장치를 심각하게 무너뜨릴 수 있다"고 경고했다.

구체적인 위험으로는 대응책보다 빠르게 진화하는 생물학·사이버 위협, 인간이 연구개발에서 밀려나 통제권을 잃을 가능성, 특정 국가가 사이버 분야의 근소한 우위를 결정적인 우위로 확대할 가능성 등을 들었다. 반면 의학적 돌파구와 기술 발전을 앞당길 수 있다는 편익도 함께 거론했다.

미국 워싱턴DC의 캐피톨 소재의 더크센 상원 사무실에서 "A.I.의 감독: 규제를 위한 원칙＂을 주제로 '개인정보 보호, 기술 및 법률 소위원회 청문회'가 개최되었다.이날 퀘벡 AI 연구소와 몬트리올 대학 컴퓨터과학부의 교수인 요슈아 벤지오(오른쪽)가 참석하여 상원 법사위에 청문회와 관련하여 증언했다. 사진에서 벤지오 교수가 참석자의 발언을 경청하고 있다. 2023.07.25/ ⓒ AFP=뉴스1

저자들은 다만 이러한 전망이 "불확실하다"는 점도 인정했다. 기술적 돌파구가 나오더라도 특수 소재 공급망 구축이나 규제 준수에 시간이 걸릴 수 있고, AI가 오히려 위험 완화 속도를 높일 가능성도 있다는 것이다.

그러면서도 "자동화에 따른 생산성 향상은 아직 지능 폭발을 촉발할 임계점에 이르지 않았지만, 최신 시스템의 향상 폭은 그 문턱에 근접하고 있을 가능성이 크다"며 "일단 지능 폭발이 시작되면 대응할 수 있는 시간이 사라질 수 있다"고 강조했다.

보고서는 AI에 일부 지시 불이행 등의 결함이 드러나고 있음에도 인간이 수개월에 걸쳐 수행할 연구개발 과제를 2028년이면 AI가 전면 자동화할 수 있다고 전망했다.

정책 권고로는 △독립 감사관의 기업 상주를 포함한 AI 연구개발 진행 상황 투명 공개 의무화 △일정 기간 내 AI 성능 향상 속도 제한 △특정 연구개발 프로젝트를 중단할 수 있도록 데이터센터와 협력 △자동화된 AI 연구개발 시스템의 완전 격리 △시나리오별 비상 대응계획 수립 등을 제시했다.

앤트로픽과 오픈AI는 AI 개발이 안전 측면에서 임계점에 다다르고 있다고 경고하며 외부 기관의 모델 평가를 수용하기로 한 바 있다.

maum@news1.kr