韓 연구진, 길 찾고 도착 확인하는 AI 로봇 국제대회 휩쓸었다

KAIST 명현 교수 연구팀, ETRI 연구진과 ‘쾌거’

VLNVerse 챌린지 우승팀‘URL-FRRS’. 왼쪽부터 명현 교수, 박주혜 박사과정,공제이 석사과정, 이찬혁 석사과정, 성창기 박사(팀장), 홍다솔 박사과정(이상 KAIST 미래도시 로봇연구실),이우주 박사, 최승민 실장(이상 ETRI 필)

‘파란 소파를 찾아가’라는 사람의 말을 알아들은 로봇이 스스로 길을 찾고 제대로 도착했는지까지 확인했다. 길을 찾는 데 그치지 않고 주변 상황을 이해하고 자신의 판단이 맞는지 스스로 확인하는 기술이다. 국내 연구진이 이같은 기술을 겨루는 국제 챌린지에서 잇따라 1, 2위를 차지하는 쾌거를 거뒀다.

KAIST는 명현 전기및전자공학부 교수가 이끄는 미래도시 로봇연구실 연구팀이 세계적인 컴퓨터비전 학술대회 ECCV 2026과 로보틱스 학술대회 RSS 2026에서 열린 국제 챌린지에서 각각 1위와 2위를 차지했다고 16일 밝혔다.

두 대회는 모두 로봇이 사람의 말을 이해하고 카메라로 주변을 살펴 스스로 판단해 움직이는 ‘체화 인공지능(Embodied AI)’ 능력을 겨룬다. 체화 인공지능은 질문에 답하는 AI에서 한발 더 나아가, 로봇이 실제 공간을 보고 판단해 직접 움직이는 기술이다.

먼저 명현 교수 연구팀과 한국전자통신연구원(ETRI) 필드로봇연구실이 구성한 ‘URL-FRRS’ 팀은 지난 9월 9일 스웨덴 말뫼에서 열린 ECCV 2026 EMR 워크숍의 ‘VLNVerse 챌린지(Vision-Language Navigation Challenge)’에서 전세계 112개 팀 가운데 1위를 차지했다.

VLNVerse Challenge 2026 최종 순위. KAIST 제공

이 대회는 “거실에 있는 파란 소파를 찾아가라”처럼 목적지만 알려주거나, “복도 끝에서 오른쪽으로 돌아 두 번째 문으로 들어가라”처럼 여러 단계의 지시를 주고 로봇이 제대로 목적지를 찾아가는지를 평가한다.

연구팀이 기존 로봇의 실패 원인을 분석한 결과 의외로 길을 못 찾는 것보다 엉뚱한 곳에서 ‘도착했다’고 판단하는 경우가 많았다. 목적지를 지나치거나 비슷하게 생긴 다른 방을 목적지로 착각하는 식이다.

연구팀은 로봇이 멈출 때 ‘여기가 정말 맞나?’라고 스스로 다시 확인하는 ‘CoRe-VLN’ 기술​을 개발했다. 로봇이 목적지라고 판단하면 주변을 다시 둘러보고 글과 사진을 함께 이해하는 AI를 이용해 지시받은 장소가 맞는지, 찾던 물건의 색과 모양이 맞는지, 실제로 가까이 있는지를 확인한다. 사람이 약속 장소에 도착한 뒤 간판이나 주변 모습을 다시 살펴보는 것과 비슷하다.

목적지가 아니라고 판단하면 로봇은 새로운 길을 찾아 다시 움직인다. 별도의 추가 학습도 필요하지 않아 기존 로봇의 길 찾기 기술에 ‘스스로 확인하고 다시 찾는 능력’을 더한 셈이다.

그 결과 연구팀은 두 과제 평균 성공률 90.7%를 기록했다. 2위 팀과 성공률은 같았지만 제출 시각이 앞서 최종 1위를 차지했다.

KAIST 연구팀은 지난 7월 호주 시드니에서 열린 RSS 2026 OWN 워크숍의 ‘내비트레이스 챌린지(NaviTrace Challenge)’에서도 2위를 차지했다.

이 대회에서는 로봇에게 사진 한 장과 ‘주차장 안으로 들어가라’ 같은 짧은 명령만 주고 어느 길로 가야 하는지를 판단하게 한다.

사람은 주차장에 들어갈 때 노면 표시나 차량의 이동 방향을 보고 자연스럽게 입구와 출구를 구별한다. 하지만 명령에는 이런 설명이 없다. 로봇이 사람과 같은 공간에서 움직이려면 사람에게는 당연한 ‘보이지 않는 규칙’까지 주변을 보고 알아내야 한다.

연구팀은 하나의 AI에 모든 판단을 맡기는 대신 여러 AI가 역할을 나눠 협력하는 ‘PRISM-Nav’를 개발했다. 한 AI는 목적지를 찾고, 다른 AI는 계단이나 턱 같은 위험 요소를 살핀다. 또 다른 AI는 인도나 횡단보도처럼 사람이 지켜야 할 공간의 규칙을 파악한다. 마지막 AI가 이 정보를 모아 어느 길로 갈지를 결정한다. 마치 길을 찾는 사람, 위험을 살피는 사람, 교통규칙을 확인하는 사람이 함께 지도를 보고 가장 안전한 길을 정하는 것​과 비슷하다.

PRISM-Nav 결과 예시, KAIST 제공

연구팀은 이 대회에서 53점을 기록해 난징대·파이브에이지스(FiveAges) 공동팀에 이어 2위에 올랐다.

명현 교수는 “세계 연구진과 경쟁해 우리 기술의 가능성을 인정받아 기쁘다”며 “이번 성과는 별도의 추가 학습 없이도 AI가 낯선 환경에서 스스로 판단하고 움직일 수 있음을 보여준 것”이라고 말했다. 또 “배송·안내 로봇뿐 아니라 물류·공장·병원 등 사람과 로봇이 함께 생활하고 일하는 다양한 공간에 활용될 것으로 기대된다”고 했다. 

명현 교수 연구실은 지난 6월 로봇 분야 최고 학회인 ICRA 2026과 컴퓨터비전 분야 최고 학회인 CVPR 2026 국제 챌린지에서도 각각 1위를 차지했다. 
 

[김민수 기자 reborn@donga.com]