KAIST 문일철 교수팀, 북경대·ICL 제치고 국제 AI 대회 우승

'멀티모달 작업계획 생성 경진대회 챌린지(EgoPlan)' 우승

멀티모달 작업계획 생성 경진대회에서 우승한 KAIST AAILab팀이 대회가 열린 오스트리아 빈 현지에서 기념촬영을 하고 있다. (왼쪽부터) KAIST 항공우주공학과 나형호(박사과정)·산업및시스템공학과 권도윤(석사과정)·강미나(석사과정)·이광현(석사과정)·나병후(박사과정). /사진=카이스트

KAIST(카이스트)는 지난 26일 문일철 산업및시스템공학과 교수 연구팀이 세계 최고 인공지능(AI) 및 기계학습 학회인 '국제머신러닝학회(ICML) 2024'에서 열린 '멀티모달 작업계획 생성 경진대회(EgoPlan)'에서 전 세계 6개국 13개 기관을 제치고 1위를 차지했다고 30일 밝혔다.

이번 대회는 AI가 주방에서 요리하는 과정을 영상 및 지문으로 학습한 후 다음 행동을 추론해 낼 수 있도록 유도할 수 있는지를 경쟁하는 시합이었다. 시각 정보와 지문 정보 등 멀티모달 정보를 조합했을 때 학습에 반영되지 않은 상식을 가져와 다음 의사결정을 내리는 시험이다.

예를 들어 다짐육 볶음에 요거트 소스를 넣는 과정까지 보여줬을 때, AI가 다음 단계에서 고기와 소스를 휘저으며 졸이라는 명령을 내릴 수 있다. 엉뚱한 명령이 아닌, 요리를 만들 수 있는 의사결정이 가능한지 여부를 판단하는 것이다.

멀티모달 작업계획 생성 경진대회의 문제 상황. 지문 및 비디오 입력이 주어진 상태에서 AI가 다음 조리과정의 멀티모달 의사결정을 수행하도록 했다. /사진=카이스트

이 기술은 최소한의 학습만으로도 로봇이 다양한 멀티모달 정보 및 기초 상식을 활용해 자율 제조 및 서비스를 수행할 수 있도록 개발하는 것이 핵심이다.

문일철 교수 주도로 참가한 11명의 KAIST 응용인공지능 연구실(AAILab) 팀은 멀티모달 대규모 모델의 파인튜닝 학습에 대한 연구 개발 결과를 적용했다. 해당 모델은 정보통신기획평가원(IITP)에서 지원한 사람중심인공지능 핵심 원천기술개발사업 중 '이동데이터 기반 상식 추출, 이해, 추론을 위한 인공지능 기술개발' 연구를 중심으로 만들어졌다. AAILab팀은 이 기술을 통해 상식 기반 추론을 통한 작업 계획 생성의 정확도 성능에서 1위를 기록해 우승상(Outstanding Champion Award) 및 혁신상(Innovation Award)을 수상했다.

문 교수는 "이번 대회의 출제 문제는 요리하는 인공지능이지만, 사실 테슬라에서 시험하는 휴머노이드 제조 로봇에 활용될 수 있는 상식을 가진 인공지능을 만드는 기술이 본질"이라며 "학생들이 두 달 동안 거의 잠도 못자는 등 각고의 노력으로 KAIST팀이 우승했지만, 이번 대회 많은 중국 참가자가 보여주듯 중국의 로봇 및 인공지능 기술 선점의 노력을 엿볼 수 있었다"고 분석했다.

한편, 멀티모달 작업계획 생성 경진대회(EgoPlan)는 지난 21일부터 27일까지 오스트리아 빈에서 개최됐다. 참가자는 중국의 북경대·북경 AGI연구소·영국의 임페리얼칼리지 런던(ICL) 등 6개국 13개 기관이다. KAIST팀은 국내 유일 참가 기관이다.

배한님 기자 bhn25@mt.co.kr