“무덤 속 회장님, 미소 지을까”…스티브잡스의 ‘빅픽처’ 세상 나왔다는데 [더 테크웨이브]

AI 에이전트와 차세대 AI모델 LAM 개발 분석

최근 한 인터뷰가 인공지능(AI) 업계에 파장을 불러왔습니다.

주인공은 바로 세계 4대 인공지능 학자로 꼽히는 얀 르쿤 메타 AI최고과학자. 그는 지난달 23일 파이낸셜타임스와 인터뷰에서 “챗GPT와 같은 생성형 AI 제품을 구동하는 대규모 언어 모델(LLM)은 인간처럼 사고하고 계획하는 능력을 절대 갖추지 못할 것”이라고 지적했습니다.

LLM은 AI 대유행을 불러온 오픈AI ‘챗GPT’와 같은 생성형AI 서비스의 근간입니다. 사실 테크업계에서는 LLM의 한계론도 꾸준히 제기돼 왔는데요.

생성형AI가 인간과 유사한 포괄적인 지능으로 쉽게 통합될 수 있을지에 대해 의구심을 표하는 시각입니다. 얀 르쿤 박사의 인터뷰가 이같은 논의에 불을 지핀 셈입니다.

실제로 최근 빅테크 회사와 차세대 AI 유니콘을 중심으로 LLM의 한계를 극복하는 새로운 형태의 AI모델에 대한 개발 또한 이뤄지고 있습니다.

이번주 <더테크웨이브>에서는 이를 중심으로 AI의 향후 발전 방향에 대해 다뤄보겠습니다. 가벼운 마음으로 읽어주세요.

“LLM, 물리적 세계에 대한 이해 부족”

LLM은 단어나 문장이 복잡하게 배열돼 있을 때, 문장의 구성이 통계학적으로 가장 일반적으로 쓰이는 형태를 취하도록 학습된 ‘언어 모델’을 수억에서 수천억 개 단위로 모아놓은 구조로 설계됐습니다.

업계에서는 생성형 AI가 이 같은 LLM을 기반으로 학습·훈련 하기 때문에 피상적이고 제한적이며, 인간처럼 추론하고 계획하는 능력을 달성하지 못할 것이라는 지적이 나오고 있습니다.

얀 르쿤 메타 AI최고과학자. [매경DB]

르쿤 박사가 LLM이 초지능으로 발전할 수 없다고 강조한 까닭도 이와 일맥상통합니다.

그가 지적한 LLM의 한계는 물리적 세계에 대한 이해 부족입니다.

르쿤 박사는 “LLM은 논리에 대한 매우 제한된 이해를 가지고 있으며, 물리적 세계를 이해하지 못하고, 지속적인 기억을 가지지 않으며, 어떤 합리적인 정의로도 추론할 수 없고, 계층적으로 계획을 세울 수 없다”고 말했습니다.

인간은 관찰을 통해 공이 떨어지면 튕겨 오를 것을 당연히 알지만, LLM은 이러한 단순한 것 조차 알 수 없다는 설명이죠. 르쿤 박사는 “이러한 모델은 올바른 훈련 데이터를 입력받아야만 정확한 답변을 제공할 수 있기 때문에 본질적으로 안전하지 않다”고 주장했습니다.

LLM의 한계론이 의미가 있는 까닭은 AI 발전에 대한 기대감때문입니다.

벌써부터 사람들은 인간 수준의 지능을 가진 AI를 기대하고 있죠. 일각에서는 이를 인공일반지능(AGI)라고 부르기도 합니다.

AI가 OS로 진화한다

여기서 잠깐 짚고 넘어갈 부분이 있습니다.

빅테크들이 목표로 하는 AI 개발의 향후 방향성에 대한 이야기입니다.

여기서 기억해 두실 키워드는 ‘AI 에이전트’ 입니다. 각 회사들마다 용어는 다르지만 오픈AI, 마이크로소프트(MS), 구글, 애플 등이 이를 지향하고 있는 듯 보이거든요.

영화 어벤저스 시리즈와 아이언맨에 나오는 인공지능(AI) 운영체제 자비스. [사진 제공=월트디즈니컴퍼니]

영화 ‘아이언맨’ 시리즈에서 토니 스타크를 보조하는 인공지능(AI) ‘자비스’는 ‘AI에이전트’의 완벽한 예시가 될 수 있습니다.

자비스는 집 안 모든 전자 디바이스를 연결하죠. 또 자비스는 자신을 만든 주인공 토니 스타크의 명령에 따라 움직이지만 스스로 판단하고 분석할 줄 아는 능력을 갖추고 있습니다.

일종의 ‘의지’, ‘자의식’ 등을 가지고 있는 셈이죠. 철학에서는 이를 ‘에이전시(Agency)’라고 표현한다고 합니다.

자비스는 특히 토니 스타크의 명령에 따라 움직이는 데서 그치지 않고 종합적인 상황 판단까지 하는 특징이 있습니다. 다른 영화 ‘그녀(HER)’에 나오는 ‘사만다’는 사용자 맞춤형 소프트웨어로 명령어 실행뿐 아니라 인간과 교감까지 하죠.

이같은 영화 속 아이디어들은 큰 틀에서 AI 운영체제(OS)의 미래상을 제시하고 있습니다.

머지 않은 미래에 우리의 명령을 수행하고 일부 영역에선 판단까지 대신해줄 수 있는 AI가 하나의 통합된 운영체제 형태로 나타날 수 있다는 의미가 될 수 있습니다.

현재 우리가 사용하는 디바이스(데스크탑, 스마트폰, 스마트카 등)은 대부분 다른 OS 위에서 구동됩니다. 이를 하나의 AI로 통합하면 인간이 번거롭게 디바이스를 만질 필요조차 없어지겠죠.

나이가 많이 드신 분들의 ‘디지털 격차’ 문제도 해결해줄 수 있을 것으로 기대됩니다.

스마트폰이 대중의 삶을 윤택하게 했듯, AI가 인류에게 차원이 다른 편리함을 가져다 줄 수 있습니다.

일각에서는 진짜 웹3는 AI라는 말도 나옵니다. 스마트폰이 나오고 거의 모든 PC서비스를 모바일이 포용한 것처럼 대부분의 웹2 서비스 위에 AI가 얹혀질 수 있다는 이유에서죠.

테크업계에서 LAM(대형액션모델) 개발에 주목하고 있는 이유는 해당 기술의 근본적인 아이디어가 OS로 작동하기 위한 AI에 포커스를 맞추고 있기 때문이라는 생각도 듭니다.

AI가 운영체제(OS)로 진화하면서(혹은 그러한 방향으로 개발이 이뤄지면서) 영화 속 상상이 현실로 다가오고 있는듯 합니다.

대형액션모델(LAM)의 등장

최근에는 기존 LLM과 차별화하는 대형액션모델(LAM)을 개발하는 회사들이 생겨나고 있습니다.

LLM이 사용자 프롬프트를 해석하고 텍스트 기반 응답을 생성하는데 그친다면 LAM은 AI 기능을 언어 이상으로 확장한다는 아이디어입니다.

인간 수준의 텍스트를 생성하고, 번역에도 능통하며 마치 사람처럼 답변하는 기능을 탑재해 AI 열풍을 가져온 LLM의 진화 버전인 셈이죠.

특히 LAM은 다양한 애플리케이션, 외부 시스템과의 통합을 통해 현실 세계와 상호작용을 목표로 합니다.

AI 분야 세계적 석학인 페이페이 리 스탠퍼드대 교수의 LAM 관련 트윗. [X 캡처]

LAM 기술 개발에 성공한다면, LLM을 개선해 ‘AI에이전트’ 시대를 열 수 있는 단초를 제공할 것으로 기대됩니다.

에이전트는 스스로 작업을 실행할 수 있는 소프트웨어 단위를 의미합니다. 단순히 사람의 질문에 대답하는 대신 궁극적인 목표 달성을 돕는 개념이죠.

단지 한 번에 하나씩 프롬프트에 반응하는 것이 아니라 여러 단계로 작업을 세분화하고 하위 작업을 수행할 수 있도록 설계됩니다.

래빗 R1이나 휴메인 AI Pin 등 LAM을 구현한 디바이스도 속속 등장하고 있습니다. 다만 LAM을 위한 별도의 기기가 필요하는가에 대해선 의구심이 존재합니다.

LLM vs LAM

LLM은 말 그대로 방대한 양의 데이터를 기반으로 훈련됩니다.

하지만 앞서 설명드린 것처럼 LLM은 텍스트 정보 교환으로 제한된 가상 영역 내에서 운영되기 때문에 실제 세계와의 상호 작용에서 한계점을 보입니다.

또한 사용자의 지시(프롬프트)를 해석하고 이를 기반으로 한 응답을 생성하는데 탁월하죠. 하지만 사람을 완전히 대체하는 ‘AI 에이전트’ 수준까지 도달하기엔 어려움이 많다는 설명입니다.

반면 LAM은 다양한 애플리케이션, 실제 시스템과의 상호 작용을 핵심적인 ‘해결 과제’로 삼습니다. 예컨대, LLM 기반 서비스들이 사용자의 지시에 따라 이메일 초안을 작성한다면 LAM 기반 서비스들은 이메일을 누구한테 언제 전달할지까지 관리할 수 있다는 아이디어죠.

쉽게 말해 LAM 기반 AI는 내 스마트폰에 접속해 나 대신 모든 일을 해줄 수 있습니다.

LAM의 기술적 기반은 ‘신경 기호 프로그래밍’ 혹은 ‘순환신경망(RNN)’입니다.

단순한 모델이 아니라 AI시스템을 컴퓨터 애플리케이션과 통합한다는 아이디어죠.

오로지 데이터에만 의존하는 기존 AI 모델과 달리 신경망, LAM은 신경 기호 프로그래밍을 결합한 하이브리드 접근 방식을 활용하여 광범위한 작업을 처리할 수 있다는 설명입니다.

LAM 상용화, 산 넘어 산

다만 LAM이 현재 기술적으로 어느 정도 단계에 있는지, 상용화 시점이 언제일지에 대해선 의견이 분분합니다.

현재 여러 회사와 AI과학자들이 개발에 매진하고 있는 상황입니다. LAM을 기존 시스템 혹은 디바이스(기기)와 통합해 응용하는 것이 우선 과제입니다.

LAM이 상용화 되더라도 △데이터 유출 위험성과 개인 정보 보호 △보안성에 대한 위험 △통합 복잡성 등의 문제가 넘어야 할 산으로 지적됩니다. 특히 광범위하면서도 프라이빗한 데이터를 기본적으로 요구하기 때문에 개인 정보 보호 문제가 더욱 크게 대두될 수 있습니다.

이와 관련, 애플이 이달 10일 생성형 인공지능(AI)을 적용한 첫 번째 서비스인 ‘애플 인텔리전스’를 공개하면서 보안에 대해 특히 강조한 점이 의미심장합니다.

애플은 보안 수준이 높은 자체 데이터센터를 직접 만들어, 이곳에서 AI 관련 데이터를 처리하겠다고 강조했습니다. 애플은 이를 ‘프라이빗 클라우드 컴퓨트’라고 명명했죠. 이 서버에는 애플이 직접 설계한 반도체를 사용합니다.

보안이 철저한 데이터센터에서 개인정보를 관리하면 고객이 자신의 정보를 편안하게 제공할 것이고, 이 정보들을 수준 높은 ‘개인 맞춤형 AI’를 만들 토대로 삼겠다는 전략으로 풀이됩니다.

AI 생태계 애플과 삼성 관련 그래픽. [매경DB]

애플의 움직임

스마트폰 생태계의 최강자, 애플이 최근 공개한 애플 지능(Apple Intelligence) 방향성은 음성AI 비서인 ‘시리’를 AI로 업그레이드 한 것에 방점을 찍었습니다.

시리에 음성으로 명령해 애플의 주요 앱을 작동시키는 등의 기능이 우선 탑재됐죠. 이를 통해 애플의 향후 AI 전략을 읽어볼 수 있습니다.

팀 쿡 애플 최고경영자(CEO)가 6월 10일(현지시간) 캘리포니아주 쿠퍼티노 본사에서 열린 ‘세계개발자회의(WWDC) 2024’에서 자체 인공지능(AI) 시스템 ‘애플 지능’을 비롯한 새 제품을 발표하고 있다. [AP = 연합뉴스]

애플은 공식적으로 LAM이라는 용어를 쓰지는 않았지만 내부 AI연구팀이 비슷한 연구를 지속하고 있는 것으로 파악됩니다.

애플이 공개한 연구논문 ‘ReALM’에서는 LAM과 유사한 이니셔티브를 통해 애플 음성비서 ’시리(Siri)‘ 기능을 향상하려는 인사이트가 공개됐습니다.

AI가 스마트폰 속 대화 내용을 이해하고, 이를 통해 화면의 시각적 콘텐츠를 처리하고, 주변 활동을 감지해 액션을 취한다는 것을 목표로 하는 연구로 주목됩니다.

화면 상에 표시된 전화번호, URL 링크, 등 다양한 유형의 참조 정보를 이해해 시리와 대화를 할 수 있게 만드는 AI 모델을 제시한 것이죠.

이를 통해 AI가 이용자가 입력하는 명령문에만 의존하는 것이 아니라, 스마트폰 화면을 분석해 사용자가 어떤 작업을 진행하고 있는지 감지하고 맥락에 맞는 행동을 취할 수 있게 됩니다.

가령 특정 기업에 관한 정보를 인터넷으로 찾아보다가 시리에게 “업체에 전화해”라고 말하면, 추가 질문 없이 인터넷 창에 있는 업체의 전화번호로 전화를 걸고 대화를 할수도 있고요.

애플은 ReALM 배포와 적용에 대해선 말을 아끼고 있습니다. 업계에서는 애플이 사용자(사람)와 AI(시리) 그리고 디바이스를 연결하고 상호 작용하는 방식을 개선하기 위해 LAM 기술을 채택할 가능성에 주목하고 있습니다.

애플은 ‘시리’의 성능을 끌어올려 클릭 없이 음성 명령만으로 작업을 수행할 수 있는 핸즈 프리(Hands-Free) 스마트폰을 구현하는 것을 계획하는 것으로 보입니다.

이러한 관점에서 애플이 오픈AI의 LLM인 GPT를 기반으로 작동하는 챗GPT를 계속 사용할지 또한 앞으로의 관전 포인트입니다.

스티브 잡스 애플 창업자. [매경DB]

애플은 과연 스티브 잡스가 꿈꿨던 진짜 시리(Siri)를 만들어낼 수 있을까요.

애플이 아직까지 잡스의 가장 큰 유산(Legacy)인 혁신 DNA를 품고 있을까요.

앞으로 이 회사가 내놓을 AI와 OS 생태계 전략의 방향성을 주목해보겠습니다.

마지막으로 최근 기자가 AI 유니콘 ‘H’ 창업자와 LAM에 대해 나눈 대화를 소개하면서 이번주 <더테크웨이브>를 마치겠습니다.

LAM 개발나선 신성 유니콘, H 창업자의 전언

“우리의 목표는 완전한 범용인공지능(AGI)입니다. 한국 회사들은 이를 위한 핵심 파트너가 될 수 있습니다.”

찰스 캔터 H 창업자 겸 최고경영자(CEO)는 최근 프랑스 파리에서 매일경제와 만나 이같이 강조했습니다.

찰스 캔터 H 창업자 겸 CEO. H

H는 기존 LLM과 차별화하는 대형액션모델(LAM)을 개발중인 회사입니다.

최근 프랑스를 넘어 전 세계 테크 업계에서 화제를 불러모았죠. 지난달 시드 투자로만 2억 2000만달러를 조달했습니다. 기업가치는 단번에 3억 7000만달러로 평가받았고요.

정보기술(IT)업계에서는 “시드 라운드가 1000만달러를 넘는 경우는 드물다”며 놀라움을 나타내고 있습니다. 투자자 면면도 화려해요. 시드 투자는 미국 VC(벤처캐피탈)인 액셀이 이끌었고, 프랑스 억만장자 버나드 아르노, 자비에 니엘과 에릭 슈미트 전 구글 CEO 등이 이름을 올렸죠. 특히 기업으론 아마존, 삼성이 투자 라운드에 합류했습니다.

캔터 CEO는 “LLM은 현재 매우 강력하지만 진실성은 여전히 문제로 남아있고, 문맥에서 벗어나는 등 작업에 대한 일반화도 문제로 남아있다”면서 “우리는 더 스마트한 시스템, 새로운 혁신이 필요하다”고 강조했습니다.

LAM 개발에 있어 원천 기술로 삼고 있는 방향성이 궁금했습니다.

그는 “우리는 트랜스포머 뿐 아니라 서로 다른 아키텍터를 결합해 동일한 목표에 더 효율적으로 도달할 수 있는 순환신경망(RNN)의 하이브리드 리턴을 더 믿고 있다”고 말했어요.

RNN은 먼저 나온 데이터를 바탕으로 뒤에 나올 정보를 추론하는데 최적화된 AI 알고리즘을 의미합니다.

향후 주목할 점은 H에 투자한 삼성, 아마존과의 LAM 협력입니다.

H가 선점을 노리고 있는 에이전트AI는 삼성과 아마존이 이미 보유한 생태계와 결합했을 때 강력한 시너지를 기대볼 수 있기 때문입니다.

캔터 CEO는 “비즈니스를 자동화하는 액션모델로 노동생산성을 높일 것”이라면서 “AI 시스템들이 상호 작용하는 프로세스인 새로운 다중 에이전트(multi-agent)를 개발하고 있다”고 밝혔습니다.

스탠퍼드대 연구원 출신인 캔터 CEO는 구글 딥마인드 출신 과학자 네명과 함께 회사를 창업했습니다. 특히 창업자들은 구글 딥마인드에서 핵심 연구를 담당한 인물들로 세계 최고 수준의 연구자들이 모였다는 평가를 받고 있습니다.

LLM으로 세상에 충격을 줬던 오픈AI처럼 LAM 분야에서 새롭게 파괴적 혁신 기업이 나올 수 있을지 주목됩니다.

<황순민 기자의 더테크웨이브> 연재를 시작합니다. 기술(Tech)이 세상을 더 나은 곳으로 만들리라 믿습니다. 혁신적인 서비스로 인류를 진보시키는 최신 기술 동향과 기업 사례를 소개하겠습니다. 네이버 기자페이지를 구독하시면 다음 기사를 쉽게 받아보실 수 있습니다.