[현장] 캘블링 MIT 교수 "범용 로봇, 데이터보다 현실 이해·인과 추론 필요"

3D 공간 인식·행동 결과 예측·인간 의도 파악 능력 강조

(지디넷코리아=김미정 기자)"범용 로봇은 방대한 데이터 학습만으로 탄생하기 어렵습니다. 로봇이 현실 세계를 이해하고, 행동 결과를 예측할 수 있어야 합니다. 인간 의도를 추론해 스스로 계획할 수 있는 능력도 있어야 합니다. 엔지니어는 로봇에 데이터 학습뿐 아니라 월드 모델과 인과 추론, 계획 능력을 결합한 '추론 중심 구조'를 넣어야 합니다."

레슬리 팩 캘블링 미국 매사추세츠공과대(MIT) 파나소닉 석좌교수는 3일 과학기술정보통신부가 서울 강남 웨스틴 서울 파르나스에서 개최한 '글로벌 AI 프론티어 심포지엄 2026' 기조연설에서 범용 로봇 구현 방안을 이같이 밝혔다. 

캘블링 교수는 로봇이 데이터만 많이 학습한다고 범용 지능에 도달할 수 있는 것은 아니라고 지적했다. 엔지니어가 모든 상황을 코드로 짜 넣는 방식도 어렵지만, 아무 구조 없이 데이터에만 맡기는 방식도 한계가 크다는 설명이다.

레슬리 팩 캘블링 미국 매사추세츠공과대(MIT) 석좌교수.

그가 데이터 중심 접근 한계를 지적한 이유는 로봇이 마주할 현실 세계가 지나치게 복잡하기 때문이다. 범용 로봇이 모든 환경과 예외 상황을 데이터로만 익히려면 필요한 학습량이 급격히 늘어나고, 결국 실제 환경에 바로 적용하기 어려워진다는 것이다.

캘블링 교수는 이 한계를 넘기 위한 대안으로 '합리적 로봇(rational robot)' 접근법을 제시했다. 이는 로봇공학과 컴퓨터과학이 쌓아온 세계 이해 방식에 딥러닝을 결합하는 개념이다. 로봇이 적은 데이터로도 새로운 상황을 해석하고 대응하도록 만들 수 있다.

그는 합리적 로봇 출발점으로 현실 세계를 3차원 공간으로 이해하는 것을 꼽았다. 로봇이 물체가 어디에 있고, 보이지 않는 부분은 어떤 형태일지 파악해야 로봇이 실제 공간에서 물건을 집고 옮기며 작업을 수행할 수 있다는 설명이다.

캘블링 교수는 로봇이 공간을 이해하는 것만으로는 충분하지 않다고 지적했다. 로봇은 자신의 행동이 주변 환경을 어떻게 바꾸는지도 예측해야 한다는 이유에서다. 물체를 집거나 치우거나 옮기는 행동이 다음 상황에 어떤 영향을 주는지 알아야 이후 행동을 계획할 수 있기 때문이다.

캘블링 교수는 이를 위해 로봇 내부에 현재 세계 상태를 표현하는 모델과 행동 결과를 예측하는 모델이 필요하다고 설명했다. 로봇은 이 모델을 바탕으로 목표를 정하고 상황을 해석한 뒤 어떤 순서로 움직일지 계획할 수 있다.

그는 커피 캡슐을 쟁반에 옮기는 사례로 이 차이를 설명했다. 그는 "쟁반 위에 캔이 놓여 있다면, 로봇은 캡슐을 바로 옮기려 하기보다 먼저 캔을 치워야 한다는 사실을 판단해야 한다"며 "이는 단순히 물체를 잘 집는 문제와 다르다"고 말했다. 이어 "로봇이 눈앞의 동작만 수행하는 수준을 넘어 앞으로 벌어질 상황을 따져야 실제 생활 공간에서 쓸 수 있는 범용 로봇에 가까워질 것"이라고 덧붙였다. 

캘블링 교수는 로봇이 사람 시연을 학습하는 방식도 단순 모방에 머물러서는 안 된다고 강조했다.

캘블링 교수는 로봇이 사람 시연을 학습하는 방식도 단순 모방에 머물러서는 안 된다고 강조했다. 로봇이 사람의 손 움직임이나 이동 경로를 그대로 따라 하면 환경이 조금만 달라져도 같은 작업을 수행하기 어렵기 때문이다.

그는 이 과정에서 대규모언어모델(LLM)이 보조 도구로 쓰일 수 있다고 봤다. LLM이 장면을 설명할 수 있는 여러 후보를 만들면, 로봇이 그중 실제 행동을 가장 잘 설명하는 표현을 골라 인과 행동 모델에 반영하는 식으로 활용 가능해서다.

캘블링 교수는 로봇 학습이 신경망과 경사하강법에만 갇혀서도 안 된다고 설명했다. 기호적 표현을 활용하면 로봇이 행동과 결과 사이의 인과 관계를 더 구조적으로 배울 수 있다고 봤다. 또 범용 로봇 개발에서 모듈화도 중요한 설계 원칙으로 제시했다. 시각을 처리하는 방식과 언어를 이해하는 방식, 물리적 행동을 계획하는 방식은 서로 다르기 때문에 각각의 기능을 나눠 설계하고 다시 결합해야 한다는 설명이다.

캘블링 교수는 "엔지니어가 완벽한 프로그램을 작성하는 것만으로는 충분하지 않고 구조 없는 학습만으로도 지능형 로봇에 도달하기 어렵다"며 "로봇공학과 컴퓨터과학에서 이해한 내용과 딥러닝에서 배운 내용을 결합해야 한다"고 밝혔다.

김미정 기자(notyetkim@zdnet.co.kr)