[AI 클로즈업] AI 다음 격전지는 '월드모델'… 제조강국 韓, 속도 내야

[디지털데일리 구아현기자] 대규모언어모델(LLM)의 한계를 보완할 차세대 기술로 '월드모델(World Model)'이 부상하면서 글로벌 빅테크와 국내 인공지능(AI) 기업들이 개발 경쟁에 뛰어들었다. 반도체·자동차·조선 등 세계적인 제조 기반과 풍부한 산업 데이터를 보유한 한국이 이러한 강점을 바탕으로 피지컬 AI 경쟁에서 주도권을 확보할 수 있을지 주목된다.

월드모델은 AI가 현재 상황을 파악하고 특정 행동을 했을 때 주변 환경이 어떻게 변할지 예측하는 기술이다. 로봇이 물체를 옮기기 전 충돌 가능성을 판단하거나 제조 설비의 작동 결과를 미리 시뮬레이션하는 데 활용할 수 있다.

월드모델은 피지컬 AI를 구현하는 핵심 기술 중 하나지만 로봇의 행동을 결정하는 다른 모델과는 구분된다. 비전언어모델(VLM)이 이미지와 영상으로 주변 상황을 이해하고, 비전언어행동 모델(VLA)이 이를 로봇의 움직임으로 연결한다면 월드모델은 행동 이후 물리적 환경의 변화를 예측하는 데 초점을 맞춘다. 이들 모델은 각각 역할이 다르지만 서로 연계해 주변 환경을 인식하고 행동 결과를 예측한 뒤 실제 움직임을 결정하는 방식으로 피지컬 AI를 구현한다.

최근에는 다양한 환경에 적용하도록 대규모 데이터로 학습한 월드 파운데이션 모델(WFM), 미래 환경과 행동을 함께 예측하는 월드 액션 모델(WAM) 등으로 기술이 확장되고 있다. 제조 공정·설비 데이터를 학습하는 제조 파운데이션 모델(MFM)은 개발 목적이 다르지만 이들 기술과 결합해 자율 제조를 구현하는 데 활용될 수 있다.

◆ 얀 르쿤은 미래 예측, 페이페이 리는 공간 생성…월드모델 개발 경쟁

글로벌 AI 기업들은 서로 다른 방식으로 월드모델 확보에 나서고 있다. 얀 르쿤(Yann LeCun)이 이끄는 AMI랩스는 공동 임베딩 예측 아키텍처(JEPA)를 기반으로 현실 세계의 상태 변화를 예측하는 AI를 개발하고 있다.

르쿤 회장은 지난 12일 서울에서 열린 산업 AI 글로벌 협력 기자간담회에서 현재 AI 시스템이 물리 세계를 충분히 이해하지 못한다고 지적했다. LLM이 인간의 지식을 언어로 전달하는 데 뛰어나지만 현실 세계를 제어할 수준의 이해 능력은 갖추지 못했다는 것이다.

JEPA는 영상의 모든 픽셀을 그대로 생성하는 대신 핵심 정보를 압축한 표현 공간에서 변화와 관계를 학습하는 접근법이다. AI가 행동에 앞서 가능한 결과를 예측하고 목표에 적합한 행동을 선택하도록 하는 것이 핵심이다.

쿠엔틴 가리도(Quentin Garrido) AMI랩스 연구원도 지난 14일 서울 코엑스에서 열린 '피지컬 AI 테크 위크'에서 물리 세계를 텍스트만으로 이해하는 데 한계가 있다고 강조했다. 로봇이 물체를 인식하는 데 그치지 않고 물체와 상호작용했을 때 발생할 변화까지 예측해야 한다는 설명이다.

반면 'AI의 대모'로 불리는 페이페이 리(Fei-Fei Li)가 설립한 월드랩스(World Labs)는 공간지능(Spatial Intelligence)에 주력한다. 월드랩스의 '마블(Marble)'은 텍스트·이미지·영상 등을 바탕으로 탐색하고 편집할 수 있는 3차원 가상공간을 생성하는 모델이다. 평면 이미지 생성에 그치지 않고 공간의 구조와 일관성을 유지하는 것이 특징이다.

월드랩스는 지난 9월 차세대 월드모델 '아틀라스(Atlas)'를 공개하며 기술을 고도화했다. 텍스트·이미지·영상·3차원 데이터를 통합 처리해 가상공간을 생성·재구성하고, 로봇 학습에 활용할 시뮬레이션 환경을 구현하는 방향이다.

월드모델의 전략적 가치가 높아지면서 대규모 인수합병도 등장했다. AMD는 지난 9월 28일 월드랩스를 약 82억달러(약 11조원대)에 인수하기로 했다고 발표했다. 거래가 완료되면 페이페이 리는 AMD 수석부사장 겸 최고과학자로 합류할 예정이다. AI 반도체 기업이 공간지능 연구 역량을 확보해 차세대 로봇·시뮬레이션 시장에 대응하려는 움직임으로 풀이된다.

구글 딥마인드는 실시간 상호작용이 가능한 가상 세계를 생성하는 '지니 3(Genie 3)'를 개발했고, 엔비디아는 로봇과 자율주행 시스템의 학습·검증을 지원하는 '코스모스(Cosmos)'를 앞세우고 있다.

AMI랩스가 행동 결과 예측과 계획에 집중한다면 월드랩스와 구글은 공간 및 가상환경 생성, 엔비디아는 물리 AI 학습을 위한 기반모델과 시뮬레이션 생태계 구축에 무게를 두고 있다. 같은 월드모델이라는 이름 아래 서로 다른 기술 전략이 경쟁하는 셈이다.

◆ NC AI·LG, 월드모델·피지컬 AI 기술 개발 속도

국내에서도 제조업을 기반으로 월드모델과 피지컬 AI 핵심 기술을 확보하려는 움직임이 빨라지고 있다. NC AI와 LG를 중심으로 독자 모델 개발부터 디지털트윈, 로봇 행동 제어, 실제 산업 현장 적용까지 연구 범위가 확대되고 있다.

NC AI는 자체 AI 파운데이션 모델 '바르코(VARCO)'를 비롯해 월드 파운데이션 모델(WFM), 디지털트윈, AI 에이전트 등 피지컬 AI에 필요한 기술을 폭넓게 개발하고 있다.

지난 3월에는 자체 연구한 WFM을 시연하며 가상환경에서 학습한 기술을 현실 세계에 적용하는 '심투리얼(Sim2Real)' 기술을 강조했다. 실제 제조 현장을 3차원 가상공간으로 구현하는 디지털트윈과 물리 환경의 변화를 예측하는 월드모델, 이를 행동으로 연결하는 로봇 파운데이션 모델을 결합하는 전략이다.

정부 연구개발 사업에도 적극 참여하고 있다. NC AI는 2026년부터 2030년까지 총 1조4131억원이 투입되는 전북·경남 피지컬 AI 연구개발사업의 양 지역 과제에 모두 선정됐다.

전북에서는 디지털트윈 가상환경과 무인공장 운영을 위한 특화 기반모델을 개발한다. 경남에서는 제조 현장의 물리적 상황을 이해하고 변화를 예측하는 월드모델과 대규모 행동모델(LAM)을 활용해 설비·로봇의 행동을 계획하고 제어하는 기술을 개발할 예정이다.

과학기술정보통신부와 정보통신기획평가원(IITP)이 추진하는 '실세계 능동행동형 에이전틱 AI 기술개발' 사업도 주관한다. 2029년까지 총 493억7500만원이 투입되며 AI가 목표를 이해하고 계획·실행·검증까지 수행하는 기술을 개발한다. KT 컨소시엄의 '모두의 AI'에도 참여하며 자체 모델과 3D 기술의 활용 범위를 넓히고 있다.

LG도 제조 현장에서 활용할 로봇 지능과 물리 환경 예측 기술 확보에 속도를 내고 있다.

LG AI연구원은 지난 14일 '피지컬 AI 테크 위크'에서 로봇의 행동이 주변 환경에 미칠 영향을 예측하는 연구 사례를 소개했다. 로봇이 인형을 집어 옮길 때 목표 물체뿐 아니라 주변 물체의 움직임과 충돌 가능성까지 고려해 행동하도록 하는 방식이다.

기존 행동 중심 모델이 주어진 작업 수행에 집중했다면 주변 환경의 변화까지 예측하는 기술을 결합해 실제 작업의 안정성을 높이려는 시도다.

LG AI연구원은 산업 특화 파운데이션 모델 '엑사원 Tabular'와 '엑사원 Forecast'를 통해 제조 데이터를 분석하고 미래 변화를 예측하는 기술도 고도화하고 있다. 다만 산업 데이터 예측모델은 로봇의 물리적 행동 결과를 예측하는 월드모델과 기술적 목적이 다르다.

LG그룹 차원에서는 정부 주도 월드모델 기술개발에도 참여한다. LG전자는 IITP가 전담하는 '피지컬 AI 모델 학습을 위한 월드 파운데이션 모델 기술개발' 과제의 주관기관을 맡았다. 2027년 말까지 총 497억원 규모로 월드모델 아키텍처, 로봇 파운데이션 모델 연계, 시뮬레이터 및 로봇 통합 기술 등을 개발하는 사업이다.

◆ 미래 예측해도 실행은 별개… 韓, 제조 강점 살려 개발 속도내야

정부도 피지컬 AI를 차세대 국가전략산업으로 육성하기 위한 투자를 확대하고 있다. 정부가 편성한 2027년 피지컬 AI 예산안은 3조1000억원으로 2026년 9000억원보다 3배 이상 늘었다.

정부는 제조업 AI 전환(M.AX), 핵심기술 경쟁력 확보(Master), 대량생산 체계 구축(Mass Production)을 골자로 한 '3M 전략'을 추진하고 있다. 과기정통부도 월드모델과 로봇 파운데이션 모델 등 핵심 기술 확보에 나섰다.

다만 월드모델이 실제 제조 현장에 적용되기까지는 넘어야 할 과제가 적지 않다.

대표적인 문제가 연산비용과 실시간 제어다. 로봇이 작업에 앞서 여러 행동의 결과를 예측하고 최적의 경로를 선택하려면 상당한 계산이 필요하다. 조립이나 유지보수처럼 여러 단계가 이어지는 작업에서는 계획 시간이 길어질 수 있다.

가리도 연구원도 14일 발표 후 질의응답에서 장기 작업계획에 따른 계산 부담을 인정하며 작업을 계층적으로 나누거나 계산을 병렬화하는 방식을 해결 방향으로 제시했다.

실제 제조 현장은 가상환경과 달리 예측하지 못한 변수도 발생한다. 로봇의 미세한 위치 오차나 물체의 마찰, 설비 상태 변화 등이 누적되면 가상환경에서 성공한 작업도 현실에서는 실패할 수 있다.

안전성 역시 중요하다. 언어모델이 잘못된 답변을 생성하는 것과 달리 피지컬 AI의 예측 오류는 설비 손상이나 로봇 충돌 등 물리적 사고로 이어질 수 있기 때문이다.

르쿤 회장도 월드모델이 행동의 결과를 잘못 예측하면 안전하다고 판단한 행동이 실제로는 위험할 수 있다고 설명했다. 행동 제약 조건을 준수하도록 설계하는 것뿐 아니라 현실 세계를 얼마나 정확하게 예측하느냐가 중요하다는 의미다.

한국은 반도체·자동차·조선 등 세계적인 제조 기반과 산업 현장에서 축적한 데이터를 갖추고 있어 피지컬 AI 경쟁에서 기회를 확보할 수 있다는 평가가 나온다.

르쿤 회장은 지난 12일 산업 AI 글로벌 협력 기자간담회에서 "AI의 다음 혁명은 물리적 현실과 로봇공학 분야에서 일어날 것이며, 한국은 오랜 기술적 기반을 갖춘 만큼 강점이 있다"고 강조했다.

같은 자리에서 크리스토퍼 응우옌(Christopher Nguyen) 아이프매틱 대표도 한국의 제조시설과 조선 역량을 언급하며 "이러한 산업 현장은 AI 학습 시스템이 실제로 배치되고 지식을 축적할 수 있는 살아 있는 실험실"이라고 평가했다. 이어 "안전과 거버넌스에 투자하면서도 가능한 한 일찍, 자주 현장에 AI를 적용해야 한다"고 조언했다.