AGI는 정말 오고 있는가?

LLM에 손발을 붙인 것이 곧 범용지능은 아니다

[이주열 기자]

▲ 인공지능. 자료사진. ⓒ 연합=OGQ

요즘 인공지능 이야기를 듣고 있으면 곧 인간과 비슷하거나 인간을 뛰어넘는 지능이 등장할 것 같은 느낌을 받는다. 인공지능이 스스로 인터넷을 뒤지고, 프로그램을 만들고, 연구를 수행하고, 물건을 사고, 심지어 인간의 명령 없이도 계속 일을 수행할 것이라는 이야기까지 나온다. 여기서 한 걸음만 더 나아가면 영화 속 터미네이터 같은 존재를 상상하기도 어렵지 않다.

그런데 이런 이야기를 하기 전에 먼저 아주 기본적인 것을 구분해야 한다. 현재 우리가 '인공지능'이라고 한 덩어리로 부르는 것 안에는 적어도 세 층이 섞여 있다. 대규모언어모델(LLM), LLM을 감싸고 있는 컴퓨터의 실행·중개 시스템, 그리고 인간이다. 이 셋을 구분하지 않으면 지금 무엇이 발전하고 있는지조차 제대로 파악하기 어렵다.

인간은 LLM과 직접 대화하지 않는다

우리는 흔히 "인공지능과 대화한다"고 말한다. 일상적인 표현으로는 맞다. 그러나 기술적으로 인간이 LLM 자체와 직접 대화하는 것은 아니다. 사람이 질문을 입력하면 운영체제와 응용 소프트웨어를 거쳐 LLM에 전달된다. LLM은 계산을 거쳐 출력을 만든다. 그런데 그 출력 역시 곧바로 인간에게 오는 것이 아니다. 다시 LLM 바깥의 시스템으로 들어간다.

왜 이런 중간 단계가 필요한가? LLM의 출력이 언제나 인간에게 보여줄 자연어 답변이 아니기 때문이다. 어떤 경우에는 질문을 받고는 바로 최종 답변을 만들기도 한다. 그러나 많은 경우 인터넷 검색, Python 코드 실행, 파일 읽기 같은 외부 행동을 요구하는 출력을 만든다.

따라서 LLM의 출력은 먼저 이를 관리하는 시스템으로 간다. 최종 답변이면 화면에 보여주고, 검색 요청이면 검색 도구를 실행한다. Python 실행 요청이면 Python을 돌리고, 그 결과를 다시 LLM에 넣는다. 그러면 LLM은 다시 계산해 다음 출력을 만든다.

구조를 단순화하면 이렇다.

• 인간 → 중개 시스템 → LLM → 중개 시스템 → 인간

외부 행동이 필요하다면,

• 인간 → 중개 시스템 → LLM → 중개 시스템 → 외부 도구 → 중개 시스템 → LLM → … → 인간
이 된다.

여기서 '중개 시스템'은 단순한 전선이 아니다. 운영체제, 모델 서버, 사용자 인터페이스, API, 입력·출력 관리, 권한 관리, 오케스트레이션, 도구 호출, 파일 시스템과의 연결 등이 모두 들어갈 수 있다. 업계에서는 workflow, agent, agent harness, orchestrator 등 여러 이름을 쓴다. 기술적으로는 서로 다르다. 그러나 이 글에서 중요한 것은 그 차이가 아니다. 중요한 것은 이것들이 모두 LLM 바깥에 있는, 인간이 설계한 시스템이라는 사실이다.

LLM은 행동하지 못한다

LLM은 입력된 토큰을 받아 내부 가중치를 이용해 계산하고 다음 토큰을 만들어 낸다. 한 번 배포된 모델의 추론 과정에서 인간이 그 수많은 가중치를 하나씩 직접 고쳐가며 판단을 만들어 내는 것은 아니다. 학습을 통해 형성된 가중치와 임베딩은 다음 버전 업그레이드 전까지는 하나도 바뀌지 않는다. 계산을 통해 문장을 만들 수도 있고, 코드를 짤 수도 있으며, 검색을 요청하는 형식의 출력을 만들 수도 있다. 그러나 여기까지다. 그런 뜻에서 LLM 자체의 능력과 인간이 바깥에서 붙여준 실행 능력은 구분할 필요가 있다.

LLM이 'SEARCH'라는 출력을 만든다고 인터넷 검색이 일어나는 것은 아니다. 'RUN PYTHON'이라고 출력한다고 Python이 실행되는 것도 아니다. 'BUY TICKET'이라고 출력한다고 항공권이 결제되는 것도 아니다. 'DELETE FILE'이라고 출력한다고 파일이 지워지는 것도 아니다. 그것은 아직 출력일 뿐이다.

그 출력이 현실의 행동이 되려면 반드시 LLM 바깥의 프로그램이 받아 실행해야 한다. 검색엔진이 있어야 검색할 수 있고, Python 실행기가 있어야 계산할 수 있다. 파일을 지우려면 파일 시스템과 삭제 권한이 필요하고, 돈을 보내려면 결제 시스템과 계정 접근권한이 필요하다. 곧, LLM은 현실 세계와 직접 접촉하지 않는다. LLM의 출력을 현실의 행동으로 바꾸는 통로가 따로 필요하다. 그리고 그 통로는 인간이 만든다.

에이전트는 무엇인가?

최근 많이 등장하는 말이 '에이전트(agent)' 또는 '에이전틱 AI(agentic AI)'다. 에이전트라고 하면 마치 LLM 옆에 또 하나의 지능이 생긴 것처럼 들리기도 한다. 그러나 현재의 기술구조만 놓고 보면 그렇게 신비한 것이 아니다. 앞에서 보았듯이 LLM은 현실세계에 직접 닿아 있지 못하고, 중개 시스템을 통해야만 하니, 인공지능은 에이전트 없이 인간과 소통할 수 없다 해도 지나친 말이 아니다.

에이전트란 LLM이 검색, 계산, 파일 처리, 브라우저 조작 같은 외부 기능을 사용할 수 있도록 연결하고, 그 결과를 다시 LLM에 돌려주며, 필요하면 이 과정을 반복하게 하는 실행 구조다. 예를 들어 "다음 달 서울에서 파리까지 가장 싼 항공권을 찾아줘"라고 했다고 하자. LLM은 검색이 필요하다고 판단해 검색 도구 호출을 출력한다. 실행 시스템이 실제 검색을 하고 결과를 돌려준다. LLM은 이를 보고 다른 날짜도 찾아볼지, 가격 비교가 필요한지 판단한다. 필요하면 다시 검색하거나 코드를 실행한다. 이 과정이 반복되면 겉으로는 인공지능이 혼자 인터넷을 돌아다니며 일을 하는 것처럼 보인다. 그러나 내부를 분해하면 다르다.

- LLM은 무엇을 할지 계산하고 출력
- 실행·중개 시스템은 그 출력을 실제 도구와 연결
- 도구는 검색·계산·파일 처리

현재의 상용 생성형 인공지능도 이미 이런 구조를 갖추고 있다. 다만 사용할 수 있는 도구와 권한이 제한되어 있다.

최근 말하는 에이전틱 AI는 여기에 새로운 지능을 덧댄 것이 아니다. 적어도 기술 구조상으로는 이 연결과 반복의 규모를 훨씬 크게 확장한 것에 불과하다. 바꾸어 말하면 LLM은 그대로인데, 더 많은 도구를 연결하고, 더 오래 작업하게 하고, 중간 결과를 저장하고, 실패하면 다시 시도하게 한다. 그리고 어느 도구를 사용할지, 어떤 순서로 진행할지, 언제 다시 시도할지까지 에이전트에게 더 많이 맡긴다. 곧, 에이전트에게 더 많은 결정권을 주고 더 넓은 실행권을 연결하는 것이다.

그 결과 LLM의 출력은 현실 세계에서 훨씬 많은 일을 일으킬 수 있게 된다. 하지만 이를 "LLM이 현실에서 행동하는 능력을 스스로 획득했다"고 표현하면 중요한 사실이 사라진다. 그 행동 능력은 LLM 내부에서 생긴 것이 아니다. 인간이 만들어 붙여준 것이다.

그리고 그 뒤에는 인간이 있다

인간은 단지 처음에 질문을 던지는 존재가 아니다. 검색엔진을 만든 것도 인간이고, 브라우저와 Python과 운영체제와 데이터베이스를 만든 것도 인간이다. LLM과 이 도구들을 연결한 것도 인간이다. 무엇보다 인간은 권한을 부여한다.

LLM이 아무리 "이 서버에 접속해야겠다"고 판단해도 접근권한이 없으면 접속할 수 없다. "이 파일을 지워야겠다"고 출력해도 삭제 권한이 없으면 지워지지 않는다. "돈을 송금하라"고 출력해도 결제 시스템이 연결되어 있지 않으면 아무 일도 일어나지 않는다.

따라서 현재의 인공지능 시스템을 단순하게 나누면 이렇다.

- LLM은 입력에 근거해 계산하고 출력을 만든다.
- 실행·중개 시스템은 그 출력을 외부 행동과 연결한다.
- 인간은 그 시스템과 도구를 만들고 권한을 부여한다.

이 세 층을 한데 뭉뚱그려 모두 'AI'라고 부르면 중요한 구분이 사라진다.

무엇이 정말 발전하고 있는가?

물론 LLM 자체도 발전하고 있다. 더 긴 문맥을 처리하고, 더 복잡한 문제를 풀고, 코드를 더 잘 만들고, 적절한 도구를 고르는 능력도 좋아지고 있다. 그러나 최근 에이전틱 AI가 보여주는 놀라운 업무 능력 가운데 상당 부분은 LLM 자체의 변화만으로 설명되지 않는다.

극단적으로 같은 LLM 두 개를 생각해 보자.

첫 번째 시스템에서는 자연어 답변만 출력하게 한다.
두 번째 시스템에서는 인터넷, 브라우저, Python, 파일 시스템, 데이터베이스를 연결하고 수십 번 반복해서 작업하도록 허용한다.

두 시스템이 할 수 있는 일은 엄청나게 달라질 것이다. 그러나 LLM의 가중치는 똑같다. 그렇다면 두 번째 시스템의 뛰어난 능력을 모두 "LLM의 지능이 그만큼 향상되었다"고 표현하는 것이 정확할까. 오히려 이렇게 말하는 편이 낫다.

'LLM 자체도 발전하고 있지만, LLM을 활용하는 인간의 기술은 그보다 훨씬 더 빠르게 발전하고 있다.'

'범용'이란 무엇인가?

여기서 AGI의 G, 곧 '범용(general)'이라는 말도 다시 보아야 한다. 상용으로 만들어진 하나의 에이전트를 누구나 사용할 수 있으면 범용인가? 아니면 하나의 시스템이 항공권도 사고, 호텔도 예약하고, 코딩도 하고, 문서도 작성하고, 자료도 조사할 수 있으면 범용인가?

그런 의미라면 지금의 시스템은 과거보다 훨씬 범용적이다. 그러나 이것과 '어떤 종류의 지적 문제라도 스스로 해결할 수 있다'는 것은 전혀 다른 주장이다.

"가장 싼 항공권을 구입하라"는 명령의 해결 경로는 열려 있으나 성공의 기준은 명확하다. 가격을 비교하면 된다. 코딩에는 테스트가 있고, 많은 수학 문제도 답을 찾는 과정은 어렵지만 일단 증명이 나오면 올바른 증명인지 검증할 수 있다. 이런 문제는 해결 경로는 열려 있어도 판정 기준은 주어져 있다.

그러나 전혀 다른 질문이 있다. "뉴턴의 중력법칙은 실제 자연세계를 올바르게 드러내는 이론인가?" 여기서는 무엇을 성공이라고 해야 할지부터 분명하지 않다.

'올바르다'는 것은 무엇인가?
실험값과 잘 맞으면 올바른 것인가?
일반상대론보다 근본적이지 않으면 틀린 것인가?
어떤 증거가 중요한가?
언제 충분히 조사했다고 판단할 것인가?

여기서는 판정 기준 자체가 문제의 일부다. 현재의 에이전트가 강한 것은 주어진 목표를 향해 여러 경로를 탐색하는 일이다. 그러나 무엇을 목표로 삼을지, 어떤 기준으로 답을 평가할지까지 스스로 만들고 그 기준의 정당성까지 검증하는 것은 전혀 다른 문제다. 현재의 에이전틱 AI가 열어놓은 것은 주로 답에 이르는 경로이지, 답의 기준 그 자체는 아니다.

다시 규칙의 문제로

LLM 바깥에 규칙과 검증기를 붙이면 이 문제를 상당 부분 줄일 수 있다. 코딩이라면 테스트 프로그램을 붙이고, 수학이라면 증명 검증기를 붙인다. 법률이라면 법조문과 판례 데이터베이스를 연결한다.

그러나 진정으로 열린 문제에서는 다시 질문이 생긴다.

"어떤 규칙을 어떻게 적용해야 하는가?"

그 규칙을 인간이 미리 만들어 주어야 한다면 과거 기호주의 인공지능이 부딪혔던 문제로 되돌아간다. 현실의 수많은 상황과 예외를 인간이 어떻게 모두 규칙으로 만들어 넣을 것인가?

반대로 그 규칙을 LLM에게 만들게 하면 또 질문이 생긴다. "그 규칙이 올바른지는 누가 판단하는가?" 또 다른 LLM에게 판단하게 하면 그 LLM의 판단은 누가 검증하는가?

닫힌 문제에서는 가격, 테스트, 실험값, 증명 규칙 같은 외부 기준이 이 연쇄를 끊어준다. 그러나 완전히 열린 문제에서는 그 마지막 심판 자체가 문제다.

AGI(인공일반지능)는 어디까지 왔는가?

지금의 발전을 과소평가할 필요는 없다. 에이전틱 AI는 매우 강력한 기술이다. 인간이 하던 수많은 업무를 자동화할 가능성이 있고, 검색·계산·문서작업·프로그램 실행을 하나의 시스템 안에서 연결할 수 있다. 경제적으로도 엄청난 가치가 있을 수 있다.

하지만 그것과 '인간과 같은 범용지능이 탄생했다'는 주장은 같은 말이 아니다. 현재의 기술구조에서 LLM은 외부 세계와 직접 접촉하지 않는다. 인간과도 직접 접촉하지 않는다. 그 사이에는 항상 인간이 만든 실행·중개 시스템이 있다. LLM이 행동하려면 외부 도구가 연결되어야 하고, 그 도구를 사용할 권한도 누군가가 부여해야 한다.

그렇다면 우리가 보고 있는 급격한 발전 가운데 얼마가 LLM 자체의 지능 발전이고, 얼마가 인간이 LLM에게 더 좋은 도구와 더 넓은 권한을 제공한 결과인지 구분해야 한다. 이 구분을 하지 않으면 인간이 AI에게 손과 발을 달아준 뒤, 그 손과 발로 많은 일을 할 수 있게 되었다는 사실을 보고 "AI가 스스로 인간과 같은 존재로 진화하고 있다"고 생각하게 된다.

현재의 기술구조에서 그런 결론은 너무 빠르다. 영화 속 터미네이터가 언젠가 만들어질 수 있는지 없는지는 여기서 말할 문제가 아니다. 다만 적어도 지금의 LLM에서 터미네이터가 저절로 자라 나오는 것은 아니다. 그것이 현실 세계에서 움직이고, 컴퓨터에 접속하고, 기계를 조작하고, 다른 시스템에 명령을 내리고, 스스로 행동을 계속하려면 그 모든 통로와 권한을 누군가가 만들어 붙여줘야 한다.

그리고 지금 그 누군가는 여전히 인간이다. 바로 이 점은 다음 질문으로 이어진다.

"AI가 위험하다고 할 때, 도대체 무엇이 위험하다는 것인가?"

토큰을 만들어내는 LLM인가? 그 출력을 현실의 행동으로 바꾸는 실행 시스템인가? 아니면 그런 시스템에 권한을 부여한 인간인가.

이 세 가지를 구분하지 않고 모두 'AI의 위험'이라고 부르면, 능력의 출처뿐 아니라 책임의 위치도 흐려진다.