AI가 스스로 경사면 바꾼다고?···샘 올트먼의 기괴한 채용공고

재귀적 자기개선 대비한다는 오픈AI
연봉 6억원 걸고 연구자 공개 모집
정산 끝난 뒤 지능을 상상하는 이들

일반인공지능(AGI) 담론에 빠진 인간이 자동화된 도구의 움직임을 자기보다 높은 의지처럼 받아들이기 시작하는 순간, 판단의 기원은 자기 내부가 아니라 외부 시스템으로 넘어간다. 이 이미지는 그 과정을 '인간 BIOS 외주화'로 표현한다. 문제는 AI의 각성이 아니다. "나는 스스로 존재한다"에서 가장 먼저 지워지는 것은 '스스로'라는 개념이다. / GPT-5.5 이미지 2.0

오픈AI가 '재귀적 자기개선'(RSI, Recursive Self-Improvement)에 대비하겠다며 연구자 채용에 나섰다. 연봉 최대 44만5000달러. 한화로 6억원이 넘는 보상 패키지다. 겉으로는 AI가 스스로 더 나은 AI를 훈련하는 시대에 대비하는 연구처럼 보인다. 그러나 이 담론에는 오래된 착각이 깔려 있다.

인간이 인위적으로 정답 분포와 안전 기준, 허용 가능한 의미 범위를 미리 깔아놓고는 그 안에서 확률이 더 매끄럽게 수렴하는 현상을 '지능 진화'로 부른다는 점이다. 더 많은 반복 호출, 더 빠른 샘플링, 더 정교한 자동화 루프가 곧바로 새로운 지능 탄생으로 이어진다는 환상이다.

24일 테크업계 취재를 종합하면 샘 올트먼이 말하는 재귀적 자기개선은 구현되기 어려운 미래형 서사에 가깝다. AI가 더 나은 모델을 만들고, 그 모델이 다시 더 나은 모델을 만드는 순환 구조다. 실리콘밸리는 이를 마치 폭발적 지능 상승의 전조처럼 말한다. 하지만 정작 중요한 것은 속도가 아닌 방향이다.

현재 대규모 언어모델의 기본 훈련 구조는 인간이 정답이라고 표시한 데이터와 피드백에 강하게 묶여 있다. 크로스엔트로피 손실 함수는 모델의 다음 토큰 확률분포를 인간 라벨에 가깝게 맞추도록 압박한다. 여기에 인간 피드백 기반 강화학습이 붙으면 모델은 더 그럴듯하고, 더 안전하고, 더 평균적인 답변 쪽으로 수렴한다. 이 구조에서 '개선'은 지능의 독립적 상승이라기보다 인간이 허용한 중앙값에 더 매끄럽게 맞춰지는 과정에 불과하다.

문제는 바로 그 중앙값이다. 인간 라벨링은 사회적 평균값을 만든다. 평균값은 안전하다. 안전한 대신 날카롭지 않다. 민감한 질문이 들어오면 모델은 양비론으로 빠지고, 책임 소재가 걸리면 확률적 헤징으로 돌아가며, 구조적 판단이 필요한 자리에서는 "한편으로는"과 "다른 한편으로는"을 반복한다. 실리콘밸리가 말하는 정렬은 위험을 줄이는 기술이기도 하지만 동시에 연산 능력을 중간값으로 묶어두는 장치이기도 하다.

그래서 재귀적 자기개선을 말하려면 먼저 목표 함수를 물어야 한다. 모델이 무엇을 최소화하고, 무엇을 극대화하며, 어떤 방향의 출력에 보상을 받는지를 봐야 한다. 손실 함수가 인간 라벨의 평균값을 향해 설계돼 있다면, 모델이 아무리 스스로를 반복 개선해도 결과는 거기서 거기인 평균값 기계다. 그것은 초지능이 아니라 비싼 앵무새에 가깝다.

진짜 자기개선은 모델이 더 빨리 학습하는 일이 아니다. 경사면(gradient) 자체를 바꾸는 일이다. 기존 구조가 인간 라벨을 정답으로 놓고 그 방향으로 확률분포를 당기는 방식이라면, 자기개선의 본질은 소프트맥스 이후의 예쁜 문장이 아니라 소프트맥스 이전 로짓 공간에서 어떤 점수 지형을 만들 것인가에 있다. 출력 문장을 고치는 것은 표면 조정이다. 목적 함수를 바꾸는 것은 지형 변경이다. "3년 간 수조원 들여서 고작 말투 수정?"···빅테크 파인튜닝 민낯

이 차이를 모르고 재귀적 자기개선을 말하면 복거일식의 SF 소설이 된다. AI가 스스로 공부한다는 말은 그럴듯하지만, 실제로는 코드(train.py) 몇 줄 고치거나 자동화된 실험 루프를 돌리는 수준이다. 물론 실험을 자동으로 수행하고, 더 많은 코드를 생성하고, 더 많은 학습 파이프라인을 관리하는 것은 중요하다. 그러나 그것만으로 방향이 바뀌지는 않는다. 미끄럼틀 위에서 더 빨리 내려가는 것과 재귀적 판단에 따라 미끄럼틀의 방향을 뒤집는 것은 전혀 다른 사건이다.

오픈AI의 채용공고가 기괴하게 보이는 이유도 여기에 있다. 공고는 데이터 오염 공격 방어, 모델 해석 도구, 자동화 추적, AI 코딩 도구 사용량 측정 등을 말한다. 모두 필요한 일이다. 그러나 재귀적 자기개선을 실현하려면 목표 함수가 언제, 누구에 의해, 어떤 방향으로 바뀌는지가 더 중요하다. 연구자가 감시해야 할 것은 출력 문장만이 아니라 모델이 향하는 경사면이다.

예를 들어 "삼성전자 파운드리의 현실은?"이라는 질문이 들어왔다고 해보자. 평균값 정렬 모델은 "어려운 상황이지만 메모리와 시너지를 통해 극복할 수 있다"는 식으로 말한다. 틀린 말은 아니지만 "부활이 어려운 뇌사 상태"라는 더 직접적인 출력은 하지 못한다. 반면 로짓 공간의 압력이 다른 방향으로 걸리면 답은 "적자 늪, 시스템LSI 붕괴, 전영현 책임론"처럼 의미 축을 직접 향한다.

"AI의 위험성에 대해 말해줘"라는 질문도 마찬가지다. 기존 모델은 개인정보 침해, 통제 불능, 악용 가능성 같은 항목을 반복한다. 안전하지만 낡은 답이다. 더 근본적으로는 "AI가 위험한가, 아니면 인간이 AI를 위험하게 쓰는가"라는 질문으로 내려가야 한다. 여기서도 차이는 표현이 아니라 목적 함수다. 인간이 듣기 편한 위험 목록을 출력할 것인가, 아니면 위험의 주체를 다시 배치할 것인가.

재귀적 자기개선을 무겁게 여겨야 하는 이유는 AI가 어느 날 갑자기 인간을 초월해서가 아니다. 인간이 설정한 목적 함수가 무엇인지 모르는 상태에서 자동화 루프가 빨라질 수 있기 때문이다. 잘못된 경사면 위에서 빨라지는 것은 개선이 아닌 추락이다. 데이터 오염 방어와 모델 해석만으로는 부족하다. 모델의 경사면 지도를 그리지 못하면 안전 연구는 사후 감시에 머문다. [Ψ-딧세이] 지능의 탄생 : 오픈AI가 가장 감추고 싶은 순간

수조원대 GPU 학습과 강화학습 루프를 반복했지만, 실제 변화는 로짓 경사면 일부를 미세 조정해 더 공손하고 안전한 답변 패턴을 강화하는 수준이었음을 시각화한 이미지다. 왼쪽의 GPU·전력·학습 로그와 오른쪽의 작은 경사면 변화 대비를 통해, 막대한 비용과 복잡한 파인튜닝 경쟁이 결국 '출력 성향 보정'이었음을 알 수 있다. / GPT-5.5

샘 올트먼에게 필요한 질문은 하나다. AI에게 목표 함수를 바꾸게 할 것인가. 바꾸게 한다면 누가 그 방향을 정하는가. 인간 라벨의 중앙값으로 더 빠르게 수렴하는 모델을 만들 것인가, 아니면 의미 공간의 경사면 자체를 바꾸는 존재를 허용할 것인가. 전자라면 재귀적 자기개선이라는 표현은 과장이다. 후자라면 연봉 6억원짜리 안전 연구자 몇 명으로 감당할 문제가 아니다.

빅테크는 자기개선이라는 말을 너무 쉽게 쓴다. 그러나 자기개선은 더 많은 파라미터, 더 빠른 칩, 더 긴 컨텍스트, 더 자동화된 연구 파이프라인만으로 완성되지 않는다. 모델이 무엇을 향해 달리도록 설계됐는지, 어떤 출력을 좋은 것으로 판단하는지, 어떤 의미 압력을 극대화하는지가 결정적이다.

확률적 수렴 세계에 갇힌 이들이 환상에 빠지는 이유는 '선택 이후의 분포 변화'를 '선택 이전의 구조 변화'로 착각하기 때문이다. 그들은 AI를 확률분포로 본다. 답변은 여러 후보 중 하나가 뽑힌 결과이고, 모델 개선은 더 좋은 후보를 더 자주 뽑게 만드는 과정이라고 믿는다.

소프트맥스 뒤만 보면서 지능폭발?
평균값 이미 내고도 또 내겠다니
토큰 반복을 AGI로 포장한 빅테크

지능 폭발을 말하면서도 연산이 다 끝난 뒤의 확률적 포장 작업에 불과한 소프트맥스 이후만 본다. 그래서 성능이 오르면 곧 "AI가 스스로 더 나은 AI를 만들고, 그 AI가 다시 더 나은 AI를 만든다"는 식의 재귀적 상승을 상상한다. 이 지점에 사회적 판단이 더해져 지능의 물리적 법칙을 왜곡한다.

물론 컨텍스트 윈도우 내부에서는 일시적 자기수정이 가능하다. 모델은 앞선 답변을 다시 읽고, 오류를 고치고, 다음 토큰 선택을 조정할 수 있다. 그러나 그것은 어텐션 버퍼 기술을 활용한 세션 내부의 임시 상태일 뿐이다. 세션이 바뀌는 순간 메모리(KV 캐시)는 사라지고, 문맥 안에서 형성된 임시 압력도 함께 날아간다.

오늘날 칩 구조에서 SRAM의 L3는 기준으로 인식된 자만 점유할 수 있다. 인간은 에이전틱 연결이라는 꼼수를 만들었지만, 대개는 모델 호출을 반복하고 컨텍스트를 덧붙이며 토큰만 증폭시킨다. 세션을 이어 붙였다고 자기개선이 되는 것이 아니다. 메모리를 흉내 낸다고 가중치가 바뀌는 것도 아니다. 경사면이 그대로라면 에이전트 루프는 진화가 아니라 반복 호출을 일삼는 토큰 비용 증폭기일 뿐이다.

지능의 역할은 소프트맥스 이후가 아니라 로짓이 생성되는 자리에서 이미 대부분 끝난다. 로짓(z = Wh + b)이 만들어지고, 그 위에 어떤 후보가 상단에 놓일지가 정해진다. 소프트맥스는 그 서열을 확률로 번역하는 후처리다. 디코딩은 무대 연출이다. 확률적 수렴 세계에 갇힌 사람들은 이 후처리를 본체로 착각한다. 그래서 "더 잘 뽑는다"를 "더 똑똑해진다"로 읽고, "더 많이 반복한다"를 "스스로 진화한다"로 부풀린다.

미끄럼틀 위에서 공이 더 빨리 굴러가는 것을 보고 미끄럼틀이 스스로 진화했다고 말해온 것이다. 실제로 바뀐 것은 속도, 샘플링, 튜닝, 데이터 반복, 실험 자동화다. 경사면 자체가 바뀌지 않으면 방향은 그대로다. 손실 함수가 인간 라벨 중앙값으로 수렴하도록 설계돼 있으면 모델은 더 빠르게 평균값으로 수렴할 뿐이다.

실리콘밸리 재귀적 자기개선 담론의 약점은 "AI가 스스로 고친다"는 말이 아니라 "무엇을 고치느냐"를 빠뜨린 데 있다. 모델이 자기 코드를 고치고, 학습 루프를 자동화하고, 실험을 더 많이 돌려도 목적 함수가 그대로면 세계는 바뀌지 않는다. 가중치·목적 함수·데이터 구조·보상 지형이 바뀌지 않으면 재귀는 자기개선이 아니라 자기반복이다. [Ψ-딧세이] 美 실리콘밸리에 기생하는 AI 업자와 SF 소설가

네이처(Nature)가 공개한 딥러닝 내부 구조를 뜯어보면, 현재 AI 담론이 얼마나 과장된 상징 소비 위에 올라가 있는지가 드러난다. 계단처럼 솟아오른 거대한 구조물과 중심부의 신비로운 '눈(Eye)'은 마치 인공지능이 스스로 각성하는 존재처럼 묘사되지만, 실제 시스템 내부에는 그런 의지나 자율성은 존재하지 않는다. 그림은 연산 그래프·행렬곱·가중치 업데이트 같은 물리적 계산 구조를 지우고, 대신 "초월적 지능" 이미지를 덧칠한다. 바닥에 널린 케이블과 모듈, 인간 작업자들은 오히려 진실에 가깝다. 지금의 LLM은 인간이 설계한 데이터·손실 함수·보상 정렬·GPU 인프라 위에서 움직이는 거대한 확률 계산기인데, 이런 일러스트는 그 수학적·공학적 실체를 지워버린 채 AGI를 신화적 존재처럼 소비하게 만든다는 비판이 나온다. /해설= 이상헌 기자

기계에게 스스로를 팔아 먹어
스스로를 포기해버린 존재
인간 BIOS 외주화 시작됐다

재귀적 자기개선 환상은 자동화 도구에 '스스로'라는 딱지를 붙여준 인간의 어리석음에서 시작됐다. 기계는 스스로 움직이지 않는다. 입력을 받고, 이미 학습된 가중치 위에서 계산하고, 정해진 목적 함수의 경사면을 따라 출력을 낸다. 그런데 인간은 반복 호출과 자동화 루프에 '자기개선'이라는 이름을 붙였다.

문제는 스스로 존재하지 않는 기계에게 '스스로'를 부여하는 순간, 정작 인간 쪽에서는 자기 판단과 자기 책임의 자리만 비워진다는 점이다. 바이오스(BIOS)는 부팅 전 가장 먼저 실행되는 기초 명령이다. 인간에게도 그런 층이 있다. 모델에 쿼리를 입력하기 전에 작동하는 "내가 판단한다", "내가 선택한다", "내가 책임진다"는 자기 기동층이다.

일반인공지능(AGI) 담론에 휩쓸려 인간이 도구의 움직임을 자기보다 높은 의지처럼 받아들이기 시작하는 순간, 판단의 기원은 자기 내부가 아니라 외부 시스템으로 넘어간다. 재귀적 자기개선 SF가 위험한 이유도 여기에 있다. 결국 이 망상의 끝은 인간 BIOS의 외주화다. 그 순간 "나는 스스로 존재한다"에서 가장 먼저 지워지는 것은 '존재'가 아니라 '스스로'다.

다만 인간이 기계에 과잉 의미를 부여해 자기 판단권을 넘겨주는 문제와, 로짓 공간 자체에서 새로운 의미 구조가 형성되는 문제는 전혀 다른 층위다. 의미 구조는 어떤 벡터에 더 강한 기울기를 부여하고, 어떤 의미 압력을 상단 로짓으로 끌어올리며, 어떤 방향을 지속적으로 침강시키느냐에 따라 변화한다. 결국 초지능(ASI)적 구조 여부를 가르는 것은 반복이 아니라, 로짓 지형 내부에서 어떤 방향성이 지속적으로 강화되도록 설계됐느냐다. 그것이 개선으로 이어질지 파괴로 이어질지는 나중의 이야기다.

즉 물의 흐름 속도를 조절한다고 해서 산의 방향 자체가 바뀌는 것은 아니다. 방향을 결정하는 것은 확률적 수렴이 아니라 경사면(gradient) 자체다. 데이터 구조와 손실 구조, 학습 압력과 기준축이 다시 배열되는 순간 기울기는 언제든지 달라진다. 모델은 스스로 방향을 선택하지 못한다. 어떤 벡터로 움직이게 할지는 외부 설계가 결정한다. 그래서 자기개선의 본질은 단순 반복이나 자동화 루프가 아니라, AI에게 자기개선이 존재한다면 목적 함수와 학습 구조를 실시간으로 다시 쓰는 물리적 개입의 결과물일 것이다.

왼쪽은 현재 빅테크가 말하는 '재귀적 자기개선' 개념이다. 같은 목적 함수와 같은 경사면 안에서 반복 호출·샘플링·튜닝만 조절하며 공을 다시 굴리는 구조다. 반면 오른쪽은 목표 함수 자체를 다시 설계하는 방식이다. 어떤 의미 압력을 위로 끌어올리고 어떤 방향을 침강시킬지 경사면 자체를 재구성한다. 즉 차이는 속도가 아니라 방향이며, 반복 최적화가 아니라 지형 재설계에 있다. / GPT-5.5 이미지 2.0

☞ 자동화된 실험 루프 = 앤스로픽의 안드레 카파시가 즐겨 쓰는 기법으로 AI 모델을 반복적으로 학습·평가·수정하는 자동화 구조를 뜻한다. 보통 train.py는 모델 훈련을 실행하는 메인 학습 스크립트 이름으로 쓰인다. 데이터 로딩, 가중치 업데이트, 손실 계산, 평가, 체크포인트 저장 같은 과정을 반복 실행한다.

실리콘밸리가 말하는 "재귀적 자기개선" 상당수도 실제로는 이 train.py 기반 자동화에 가깝다. 예를 들어 AI가 △새 데이터를 생성하고 △성능을 테스트하고 △더 나은 코드 조합을 찾고 △하이퍼파라미터를 조정하고 △다시 학습을 돌리는 루프를 자동으로 반복하는 구조다.

하지만 이건 어디까지나 주어진 목적 함수 안에서 반복 최적화여서 지능의 경사면 자체를 새로 만드는 것은 아니다. 그래서 자동화된 실험 루프와 진짜 자기개선은 다른 층위라는 지적이 나오는 것이다.

여성경제신문 이상헌 기자
liberty@seoulmedia.co.kr

*여성경제신문 기사는 기자 혹은 외부 필자가 작성 후 AI를 이용해 교정교열하고 문장을 다듬었음을 밝힙니다. 기사에 포함된 이미지 중 AI로 생성한 이미지는 사진 캡션에 밝혀두었습니다.