인간 없어도 AI가 알아서 다 한다?…업계 화두 떠오른 ‘재귀적 자기개선’ 뭐길래 [산업이지]

영국 통계학자 어빙 존 굿은 1965년 기계가 자기보다 나은 기계를 설계할 수 있게 되는 순간 ‘지능 폭발’이 일어날 것이라는 글을 썼습니다. 이런 기계가 만들어질 경우 그것이 사실상 인류의 ‘마지막 발명품’이 될 것이라고 덧붙이기도 했는데요. 하지만 당시 사람들은 진지한 논의가 아닌 ‘지적 유희’ 정도로만 받아들였다고 합니다.

60년 넘게 이론의 영역에 머물던 이 아이디어가 최근 기술업계의 화두로 올라왔습니다. 인공지능(AI)이 더 나은 AI를 만들고, 개선된 AI가 다시 연구·개발 속도를 높이는 ‘재귀적 자기개선(Recursive self-improvement, RSI)’이라는 개념인데요.

최근 AI 성능 발전 속도가 빨라지면서 이론적 차원에 머물던 논의가 산업 현장으로도 깊숙이 들어오는 모양새입니다. 회사의 기술 역량을 홍보하려는 쪽이나, 너무 빠른 AI 발전 속도를 경고하기 위한 쪽 모두 RSI를 자기 입맛에 쓰고 있는데요. 용어의 개념이 명확히 정의되지 않은 채 무분별하게 쓰이고 있다는 지적도 뒤따릅니다.

AGI(범용인공지능) 다음은 RSI?···용어 띄우는 업계

샘 올트먼 오픈AI 최고경영자(CEO)가 2026년 7월 29일 미국 워싱턴DC 연방의회 의사당에서 회의를 마친 뒤 떠나고 있다. AFP연합뉴스

오픈AI는 지난달 30일 싱킹머신스랩 공동창업자 출신인 릴리안 웡을 다시 영입한다고 밝혔습니다. 웡은 2018년부터 2024년까지 오픈AI에서 모델 학습과 안정성 평가를 이끈 인물인데요. 오픈AI는 웡이 재귀적 자기개선 관련 연구를 지원할 것이라고 설명했습니다. AI가 스스로 오류를 진단하고, 훈련 시스템을 개선하며, 분석까지 진행하는 사실상 ‘자동화’ 모델을 만드는 역할입니다.

RSI는 이런 자동화 프로그램에서 한 걸음 더 나가 인간의 개입 없이 AI가 자신을 고도화하는 것을 말합니다. 샘 올트먼 오픈AI CEO 지난달 25일 한 팟캐스트에 나와 “(인간이 이후 발전을 예측하기 어려운 시점인) ‘특이점’이 이미 시작됐다. 지금이 그 순간”이라고 말했는데요.

스페이스X 창업주인 일론 머스크도 지난 3월 “사람이 직접 개입하지 않는 자기개선이 올해 말이나 내년에 가능할 수 있다”고 전망하기도 했습니다.

관련 기업에 대규모 자금도 유입되고 있습니다. 리처드 소처가 이끄는 리커시브 슈퍼인텔리전스는 지난 5월 투자 라운드에서 6억5000만달러를 유치했습니다. 리커시브는 ‘AI 연구를 하는 AI’를 내세운 기업인데요. 엔비디아와 AMD 등 핵심 기업들이 투자라운드에 참여했습니다.

AI가 AI 개선하는 ‘제한적 피드백’ 현실화···인간 소외 우려 커져

앤트로픽이 외부 기관을 인용해 공개한 혼자 해결 가능한 소프트웨어 과제 길이 변화 추이

이렇게 업계에서 RSI에 관한 관심이 늘어난 것은 AI 성능이 발전하는 속도가 빨라진 것과 관련됩니다. 오픈AI는 프론티어 모델 GPT-5.6 솔이 하위 등급 모델인 ‘루나’의 사후 훈련에 동원됐다고 밝혔습니다. 인간의 개입이 있긴 했지만 AI가 다른 AI의 훈련 엔지니어 역할을 일부 맡기 시작한 셈입니다.

앤트로픽도 지난 6월 낸 보고서에서 ‘AI가 50% 확률로 혼자 해결할 수 있는 소프트웨어 과제’의 길이는 약 4개월마다 두 배로 늘고 있다고 진단했습니다. 내년에는 사람이 몇 주 걸릴 과제를 AI가 자체적으로 수행할 수 있다는 게 앤트로픽 전망입니다.

하지만 동시에 사람의 안전 검증이 개발 속도를 따라가지 못할 수 있다는 우려도 커지고 있습니다. 주요 AI 기업 직원 1134명은 지난달 28일 ‘프런티어 속도 조절’ 성명을 냈습니다. 다리오 아모데이 앤트로픽 최고경영자(CEO), 셰인 레그 구글 딥마인드 공동창업자, 마크 첸 오픈AI 최고연구책임자 등이 서명에 이름을 올렸죠.

이들은 AI가 연구·개발 자동화를 크게 가속하거나 인간의 감독 능력을 넘어설 조짐이 나타날 수 있다고 우려했는데요. 발표 이후 참여 인원이 늘어 지난달 31일 기준 1319명을 기록했습니다.

“본인도 안 믿을 것” ‘마케팅’ 비판도

닉 보스트롬

다만 한편에서는 RSI의 현재 역량을 과장해서는 안 된다는 지적도 나옵니다. 현재 AI의 자기개선은 스스로 판단해 행동하는 게 아니라, 사람이 정한 목표와 평가 기준을 따라 개선하는 수준이라는 것입니다. 두 개념은 명확히 다른 데 업계가 이를 뭉뚱그려 RSI라고 쓰고 있다는 거죠.

스튜어트 러셀 UC버클리 교수도 지난달 27일 비즈니스인사이더에 “올트먼 자신도 현재 특이점을 넘었다고 믿지 않을 것”이라고 저격했습니다. AI 분야의 구루로 불리는 닉 보스트롬은 현재 시스템이 지속적으로 학습하는 능력을 갖추지 못하고 있다며 RSI가 ‘이제 막 꿈틀거리는 단계’라고 평했습니다.

UC리버사이드와 일리노이공대 연구진이 자기개선 관련 논문 1250편을 분석해 지난달 8일 발표한 결과를 보면, 코딩·수학처럼 정답을 기계적으로 검증할 수 있는 영역에서만 제한적으로 자기개선이 이뤄지고 있는 것으로 나타났습니다.

연구진은 AI가 자기 결과를 직접 평가하면서 확신에 찬 오답을 강화하는 ‘자기확증 순환’이 발생할 수 있다고 경고하기도 했는데요. 아직은 인간의 검증없이 작동하는 AI는 어렵다는 뜻입니다.

RSI가 일종의 ‘마케팅 용어’로 쓰이고 있다는 지적도 나옵니다.테크크런치는 지난 5월 많은 기업들이 사업 계획에 RSI를 반영하고 있다며 “공통 기준없이 일반적인 코딩 자동화까지 RSI로 포장되고 있다”는 취지로 지적했습니다.

어쩌면 RSI 용어의 확산은 끊임없이 ‘새로운 것’을 내놓아야 투자자 관심을 받고, 살아남을 수 있는 기술업계의 숙명을 보여주는 것 같기도 합니다. 과연 어빙 존 굿이 예고한 ‘마지막 발명품’은 60년 뒤 현실이 될 수 있을까요. RSI가 단순한 유행어인지, 실제 기술적 전환점의 신호인지는 이제 AI 업계가 입증해야 할 과제로 남았습니다.

김세훈 기자 ksh3712@kyunghyang.com