전자통신연, 절차 생성 AI 성능 자동평가 벤치마크 기술 첫 개발

"비용·시간 단축, 객관적"…대형언어모델 33종 평가 결과 공개

로타 벤치마크 기술에 관해 논의하는 ETRI 연구진 [ETRI 제공. 재판매 및 DB 금지]

(대전=연합뉴스) 정찬욱 기자 = 국내 연구진이 대형언어모델(LLM)을 기반으로 만들어진 절차들의 성능을 자동으로 평가하는 기술을 세계 최초로 개발했다.

한국전자통신연구원(ETRI)은 절차 생성 인공지능(AI)의 성능을 자동 평가할 수 있는 로타 벤치마크(LoTa-Benchmark) 기술을 개발했다고 7일 밝혔다.

절차 생성 AI 벤치마크 기술은 로봇이 사용자의 명령에 얼마나 잘 대응하고 절차를 준수했는지 성능을 평가하는 것이다.

ETRI가 개발한 로타 벤치마크 기술은 사람이 말로 명령을 하면 대형언어모델이 생성한 작업 절차를 실행하고, 그 결과가 지시한 목표와 같은지 자동으로 비교해 성공 여부를 판단한다.

따라서 평가 시간과 비용을 최소화할 수 있고, 사람이 평가하는 것보다 결과가 객관적이다.

연구진은 세계 최우수 인공지능 학술대회 중 하나인 표현학습국제학회(ICLR)에 관련 논문을 발표하고, 이 기술을 이용해 대형언어모델 총 33종의 절차 생성 성능 평가 결과를 개발자들의 온라인 오픈소스 플랫폼인 깃허브(Github)에 공개했다.

연구진은 로타 벤치마크 기술 이점을 활용해 데이터를 통한 훈련으로 절차 생성 성능을 개선할 수 있는 두 가지 전략도 발견했다.

컨텍스트 내 예제 선별법(In-Context Example Selection)과 피드백 기반 재계획(Feedback and Replanning)이다.

아울러 파인튜닝을 통한 절차 생성 성능 개선 효과도 확인했다고 설명했다.

ETRI 장민수 소셜로보틱스연구실 책임연구원은 "로타 벤치마크 기술은 절차 생성 AI 개발의 첫걸음"이라며 "앞으로 불확실한 상황에서 작업 실패를 예측하거나 사람에게 질문하며 도움을 받아 작업 생성 지능을 지속해서 개선하는 기술을 연구·개발할 계획"이라고 말했다.

jchu2000@yna.co.kr

▶제보는 카톡 okjebo