AI가 세상에 나온다...석학·빅테크도 뛰어드는 피지컬AI 경쟁

AI 스타트업 월드랩스의 월드 모델 '마블'이 만들어낸 3D 환경. '담쟁이덩굴로 덮인 벽이 있는 성 안뜰'을 만들어달라고 요청하면 이 같은 3D 세상을 만들어준다. /월드랩스

인공지능(AI) 분야 석학으로 꼽히는 페이페이 리 미국 스탠퍼드대 교수가 세운 스타트업 월드랩스는 지난 12일 월드모델 ‘마블’을 출시했다. 월드모델은 현실 세계의 물리적 법칙을 학습하고 예측하는 AI를 뜻한다. 페이페이 리 교수는 “LLM(거대언어모델)이 기계에게 ‘읽고 쓰는 법’을 가르칠 수 있다면, 마블 같은 월드모델은 기계에게 ‘공간을 인식하고 행동하는 법’을 가르칠 수 있다”고 했다.

AI 석학인 얀 르쿤 교수도 영상과 공간 데이터 기반으로 물리 세계를 이해하는 월드모델을 개발해야 한다고 주장하고 있다. 그는 메타 퇴사 이후 새로운 스타트업을 설립해 월드모델 연구를 지속할 것으로 전해졌다.

◇실제 세계에 영향 주는 AI

월드모델은 텍스트나 이미지, 영상을 입력하면 이를 가상의 3D(차원) 세계로 구축해준다. 실제 로봇이나 자율 주행 등의 훈련에 사용할 수 있는 환경을 만드는 것이다. 월드모델은 시공간적 인과관계를 예측하고 환경의 상태 변화를 이해하도록 설계된다. 월드 모델의 예측 결과에 따라 로봇, 기계, 센서 등이 실제 물리 세계에서 작동하도록 하는 것이 ‘피지컬 AI’다. 월드모델이 ‘두뇌’의 역할을 한다면, 피지컬AI는 ‘신체’ 역할을 하는 셈이다.

빅테크들은 이제 월드모델 개발에 박차를 가하고 있다. LLM 고도화가 일정 부분 한계에 도달했기 때문이다. LLM 기반의 텍스트, 이미지, 음악, 비디오 등을 생성하는 AI는 이미 전부 상용화 단계에 이르렀고, 경쟁 역시 치열하다. 반면 피지컬AI는 제조, 물류, 서비스 등 인간의 물리적 노동을 일정 부분 직접 대신할 수 있고, 시장도 아직 본격적으로 무르익지 않았다. 시장조사업체 마켓츠앤드마켓츠에 따르면 피지컬AI 시장 규모는 2025년 44억4000만달러에서 2030년 230억6000만달러(약 33조원)로 성장할 전망이다.

엔비디아는 피지컬 AI 분야의 주도권을 잡기 위해 노력하고 있다. 엔비디아는 휴머노이드 로봇용 파운데이션 모델인 ‘그루트 N1.6’을 지난달 출시했다. 자연어 명령을 물리적 행동으로 정밀하게 수행할 수 있도록, 시각·추론·조작 능력을 통합한 것이다. 또 주변 환경 예측, 상태 생성, 시나리오 생성 등을 담당하는 ‘코스모스’ AI와, 이를 시뮬레이션하는 ‘옴니버스’를 운영하고 있다.

일론 머스크가 이끄는 xAI는 최근 엔비디아 출신의 AI 연구원 지샨 파텔과 에단 허를 영입한 것으로 알려졌다. 두 연구원은 엔비디아에서 실시간 물리 기반 3D 시뮬레이션 플랫폼 ‘옴니버스’를 개발한 인물이다. xAI는 게임 분야와 로봇용 AI에 적용하기 위해 월드모델을 개발 중인 것으로 알려졌다. 머스크는 소셜미디어 X에 “xAI가 내년 말까지 훌륭한 AI 기반 게임을 출시할 것”이라고 밝혔다.

메타도 월드모델 ‘브이제파2(V-JEPA2)’를 공개했다. AI가 중력과 같은 물리적 세계의 법칙을 이해하고, 낯선 물체와 환경의 상호작용을 구현할 수 있는 것이 특징이다.

◇한국도 월드모델 경쟁 나서

정부는 지난 9월 250여 개 기업과 ‘피지컬 AI 글로벌 얼라이언스’를 출범시키며 월드모델 경쟁에 뛰어들었다. 하지만 아직 시작 단계이고, 대부분의 지원은 LLM에 집중돼 있다는 지적이 나온다. 기업들이 대부분 LLM 분야에서 경쟁하고 있기 때문에, 월드모델까지 신경 쓸 겨를이 없었다는 분석이다.

다만 제조업 기반이 탄탄한 한국이 피지컬 AI 시대에 강점을 보일 수 있다는 기대도 있다. 미국이 피지컬 AI의 원천 기술에서 우위를 점하고 있지만, 이를 물리적으로 구현하는 제조 기반은 상대적으로 약하기 때문이다. 엔비디아가 한국에 GPU(그래픽처리장치)를 공급하기로 하며 ‘AI 동맹’을 지난달 체결한 것도 제조업 기반 데이터를 확보하기 위한 목적으로 분석된다. 테크 업계 관계자는 “엔비디아 GPU 지원을 통해 한국은 피지컬 AI 모델 개발에 필요한 컴퓨팅 자원을 확보해 피지컬 AI 구축에 나설 수 있게 됐다”고 했다.

지난 1월 미국 라스베이거스에서 열린 CES 2025에서 젠슨 황 엔비디아 최고경영자(CEO)가 자사 피지컬 AI가 탑재된 휴머노이드를 소개하고 있다. /AFP 연합뉴스

☞월드모델과 피지컬 AI

우리가 주로 쓰는 언어 기반 인공지능(AI)과 달리, 현실 세계의 물리적 법칙을 학습하고 예측하는 AI. 월드모델은 물리 법칙을 학습해 현실을 시뮬레이션하는 ‘두뇌’의 역할을 한다면, 피지컬 AI는 로봇 등에 적용돼 실제로 세상과 상호작용하는 ‘신체’ 역할을 한다.