ETRI '절차 생성 AI 벤치마크' 기술 세계 첫 확보

'로타벤치마크(LoTa-Bench)' 언어모델 절차 생성 성능 평가
대형언어모델 33종 평가 결과 공개 및 성능 개선 전략 발견

[대전=뉴시스] ETRI 연구진이 절차 생성 인공지능(AI)의 성능을 자동평가하는 로타벤치마크(LoTa-Bench) 기술에 관해 논의하고 있다.(사진=ETRI 제공) *재판매 및 DB 금지

[대전=뉴시스] 김양수 기자 = 국내 연구진이 대형언어모델(LLM)을 기반으로 로봇이 명령에 얼마나 잘 대응하고 절차를 준수했는지를 평가하는 절차 생성 평가 인공지능 기술을 세계 최초로 개발했다.

한국전자통신연구원(ETRI)은 사람이 말로 작업을 명령하면 스스로 작업절차를 이해하고 계획을 수립해 수행하는 절차 생성 인공지능(AI)의 성능을 자동평가할 수 있는 기술을 개발했다고 7일 밝혔다. 이 기술을 ETRI는 '로타벤치마크(LoTa-Bench)'로 이름 붙였다.

연구진은 이 성과를 세계 인공지능 학술대회 중 하나인 표현학습국제학회(ICLR)에서 논문으로 발표하고 해당 기술을 활용한 대형언어모델 총 33종의 절차 생성 성능평가 결과를 깃허브를 통해 공개했다.

기존에는 컴퓨터 프로그램으로 비교, 평가해 점수를 내는 시스템인 '벤치마크(Benchmark)' 기술이 없어 사람이 직접 평가, 시간 및 인력부담이 컷다.

이에 따라 이번에 ETRI는 대형언어모델의 절차 수행 결과가 지시명령 목표를 잘 달성했는지에 대한 절차 이해 기술 성능을 자동으로 평가하는 로타벤치마크 기술을 최초로 개발, 대형언어모델을 이용한 로봇 작업계획 기술의 성능평가 시간과 비용을 대폭 줄일 수 있도록 했다.

ETRI가 개발한 로타벤치마크 기술은 사용자의 명령에 따라 대형언어모델이 생성한 작업 절차를 실행하고 결과가 지시한 목표와 같은지 자동으로 비교해 성공 여부를 판단한다. 이에 따라 평가 시간과 비용을 최소화할 수 있고 결과가 객관적이다.

연구진은 미국 알렌인공지능연구소(AI2-THOR) 등에서 성능평가도 진행했으며 컨텍스트 내 예제 선별법(In-Context Example Selection)과 피드백 기반 재계획(Feedback and Replanning)이란 절차 생성 성능 개선 전략도 확보했다.

ETRI 장민수 소셜로보틱스연구실 책임연구원은 "로타벤치마크는 절차 생성 AI 개발의 첫걸음이다. 향후 불확실한 상황에서 작업 실패를 예측하거나 사람에게 질문하며 도움을 받아 작업 생성 지능을 지속 개선하는 기술을 연구개발할 계획"이라면서 "1가구 1로봇 생활 시대의 구현을 위해서는 이 기술이 반드시 필요하다"고 말했다.

☞공감언론 뉴시스 kys0505@newsis.com