AI가 AI를 낳는다…LLM 넘어 '재귀적 자기 개선'으로 [테크토크]

AI 업계가 주목하는 재귀적 자기 개선 AI
LLM 한계 극복한 '성능 개선 자동화' 노려
알파고 父 창업자에 천문학적 투자금 몰려

편집자주
AI, 반도체, 통신, 바이오에 이르기까지 우리 생활에 꼭 필요하지만 너무나 생소한 기술 이야기를 쉽게 풀어 전해 드립니다.

아인슈타인 테스트.

구글 딥마인드의 수장 데미스 허사비스 최고경영자(CEO)가 지난 2월 제안한 '일반 인공지능(AGI)'의 조건입니다. 마치 아인슈타인이 1915년 사고실험을 통해 '상대성 이론'을 정립했듯이, AI도 사전 지식 없이 동일한 이론을 스스로 만들 수 있어야 한다는 테스트입니다.

지난 2월 인도 '인공지능 서밋'에 참석한 데미스 허사비스 구글 딥마인드 최고경영자(CEO). 그는 이 자리에서 인공지능의 다음 목표로 '아인슈타인 테스트'를 제안했다. 유튜브 캡처

지금의 거대 언어 모델(LLM) AI도 똑똑하긴 하지만, 사실 LLM은 오픈 북 시험을 치르는 거나 마찬가지입니다. 개발자들이 미리 가공한 고품질의 데이터에서 정답을 뽑아와 조합해 답변을 내놓습니다. 뭐든지 다 아는 척척박사이지만, 정작 창의로운 사고는 할 수 없습니다. AI가 진짜 인간 수준의 지능을 갖추려면 무엇이 필요할까요. 현재 AI 선두주자들은 '재귀적 자기 개선'을 해답으로 보고 있습니다.

훈련 없어도 시행착오로 해답 찾는 AI

재귀적 자기 개선(Recursive Self-Improvement·RSI)은 시행착오를 통해 스스로 문제 해결 방법을 깨닫고, 자기 자신을 더욱 개선하는 AI를 뜻합니다.

인간 과학자가 AI에 특정 코딩 문제를 던져줬다고 가정해 봅시다. RSI는 문제를 풀 가상 환경 안에 수많은 AI 에이전트를 배치하고, 각 에이전트는 다양한 문제 풀이를 시도합니다. 대부분은 실패하겠지만, 정답도 나오겠지요. 이후 '감독관 AI'가 가장 이상적인 최종 결과물을 고르고, 이를 바탕으로 자기 자신을 더욱 개선하는 겁니다. 바깥에서 보면 마치 AI가 AI를 짓는 모습처럼 보일 겁니다.

엔비디아의 ARM 기반 베라(VERA) 중앙처리장치(CPU). 메모리 반도체와 AI 가속기의 데이터 교환이 중요했던 기존 거대 언어 모델(LLM)과 달리, 재귀적 자기 개선은 AI 에이전트 구동에 필수적인 CPU가 가장 중요한 하드웨어로 부상한다. 엔비디아

오픈AI, 구글 딥마인드, 앤스로픽 등 거대 AI 기업들은 이미 RSI를 다음 경쟁 무대로 삼고 있습니다. 앤스로픽의 공동 창업자 잭 클라크는 지난달 초 자신의 엑스(X)에 쓴 글에서 "나는 2028년 이전에 RSI가 실현될 가능성이 60% 이상에 이른다고 본다"며 "AI가 스스로 자기 자신을 만드는 세상이 올 것"이라고 했습니다. 오픈AI도 2028년 3월까지 '완전히 자동화된 AI 연구원을 만들겠다'는 자체 로드맵을 수립했습니다.

이미 막다른 길 몰린 LLM의 대안

AI 선두주자들이 RSI에 투자하는 이유는 명확합니다. AI가 스스로 자기 자신을 만든다면, 어마어마한 연구개발(R&D) 비용을 절약할 수 있습니다. 이뿐만이 아니라 AI의 자기 개선 작업은 더욱 강력한 슈퍼컴퓨터를 통해 얼마든지 가속할 수 있습니다. 인간이 수년 만에 하던 기존 코딩 작업을 단 수초 안으로 압축함으로써, 폭발적으로 성능을 늘릴 수 있습니다.

그러나 RSI의 가장 큰 장점은 무한한 학습 기회와 범용성입니다. LLM의 취약점은 데이터 제약입니다. 고품질의 인간 데이터를 가공해 교과서로 만들어 사전 훈련해야 제 성능을 발휘합니다. 또 특정 작업에 AI를 맞추려면 추가 조정 작업인 '파인 튜닝'을 일일이 수행해야 하지요. RSI는 데이터에 의존하지 않고도 무한한 학습이 가능하며, 사전 지식, 즉 데이터가 제약된다고 해서 성능이 뚝 떨어지지도 않습니다. 허사비스 CEO가 말했듯 '아인슈타인급 지능'을 모든 산업, 학문 등 영역에서 발휘할 수 있는 겁니다.

이미 천문학적 투자금 몰려…"근본적 지능에 대한 질문"

다만 RSI는 이제 막 본격적인 연구가 시작된 분야입니다. 기존 LLM은 방대한 데이터셋을 붙잡아 둘 메모리 반도체가 필수적이었다면, AI 에이전트 처리가 필수적인 RSI부터는 중앙처리장치(CPU), 데이터 입출력(I/O) 등 그동안 미흡했던 분야에 투자해야 합니다. 빅테크들에도 아직 낯선 영역이라는 뜻이지요.

유럽 역사상 가장 거대한 시드 투자금을 유치한 데이비드 실버 UCL 교수. 그는 딥마인드에서 알파고, 알파제로 등 스스로 학습하는 인공지능의 개발을 지휘한 인물로, RSI의 초석을 닦았다. 데이비드 실버 개인 홈페이지

이 때문에 이미 빅테크 기업들이 상용화 중인 LLM을 과감히 버리고 RSI 연구부터 '올인'하는 스타트업들도 설립되고 있습니다. 딥마인드 연구원 출신인 데이비드 실버 유니버시티 칼리지 런던(UCL) 교수가 최근 설립한 '인에퍼블 인텔리전스(Ineffable Intelligence)'가 대표적입니다. 이 기업은 출범과 동시에 세계 최대 벤처 캐피탈(VC)들로부터 11억달러에 달하는 투자를 유치했으며, 기업 가치는 51억달러를 달성했습니다. 아직 제대로 된 제품 로드맵도 발표되지 않은 기업에 막대한 자금이 몰릴 만큼 RSI에 대한 기대감이 크다는 뜻입니다.

RSI의 원조 격인 알파고, 알파제로의 아버지로 추앙받는 실버 교수는 LLM이 아닌 RSI가 진짜 인류 문명을 바꿀 일반 인공지능의 후보라고 주장합니다. 실버 교수는 인에퍼블 인텔리전스 출범 당일 게시한 성명에서 "언어, 비디오, 소스코드를 생성하는 인공지능은 지금도 충분하며, 훌륭한 사람들이 더 개선할 것"이라면서도 "우리는 '지능'이라는 개념에 대한 근본적인 질문에 정면으로 맞서야 한다"고 강조했습니다.

그러면서 "(RSI가) 실패할 확률은 극히 높지만, 성공했을 때의 혜택은 상상도 할 수 없을 것"이라며 "인간 데이터에 의존하지 않고 스스로 끊임없이 지식과 기술을 습득하는 초고속 학습 능력을 구현할 것"이라고 덧붙였습니다.

임주형 기자 skepped@asiae.co.kr