전자통신연, 절차 생성 AI 벤치마크 기술 세계 첫 개발

말로 작업 명령하면 스스로 작업 절차 이해하고 계획 수립해 수행

다양한 대형언어모델의 절차생성 성능 평가 결과.(ETRI 제공)/뉴스1

(대전=뉴스1) 김태진 기자 = 국내 연구진이 '절차 생성 인공지능(AI) 벤치마크' 기술을 세계 최초로 개발했다. 이로써 언어모델 절차 생성 성능 평가 비용 절감, 시간 단축, 객관적 평가가 가능해졌다.

한국전자통신연구원(ETRI)은 사람이 말로 작업을 명령하면 스스로 작업 절차를 이해하고 계획을 수립해 수행하는 절차 생성 AI의 성능을 자동 평가할 수 있는 로타벤치마크 기술을 개발했다고 7일 밝혔다.

ETRI는 알프레드 기반 벤치마크 결과, 오픈AI의 GPT-3는 21.36%, GPT-4는 40.38%, 메타의 라마2-70B 모델이 18.27%, 모자이크엠엘의 MPT-30B 모델이 18.75% 성공률을 보였다고 설명했다.

규모가 클수록 절차 생성 능력도 우수했다. 성공률이 20%면 100개의 절차 중 20개를 성공한 셈이다.

이로써 대형언어모델을 이용한 로봇 작업계획 기술의 성능평가 시간과 비용을 대폭 줄일 수 있게 됐다.

또 소프트웨어를 오픈소스로 공개함에 따라 기업, 학교 등에서 본 기술을 자유롭게 활용해 관련 기술의 발전을 앞당길 수 있을 것으로 기대된다.

최근 대형언어모델은 언어처리, 대화, 수학 문제 풀이, 논리 증명 외 사람의 명령을 이해해 하위 작업을 스스로 선택하고 순서대로 수행해 목표를 달성하는 절차 이해 영역에서도 우수한 성능을 보여주고 있다. 이에 따라 대형언어모델을 로봇 응용과 서비스 구현에 적용하려는 시도가 폭넓게 이뤄지고 있다.

이에 ETRI는 대형언어모델의 절차 수행 결과가 지시 명령 목표를 잘 달성했는지에 대한 절차 이해 기술 성능을 자동으로 평가하는 로타벤치마크 기술을 세계 최초로 개발한 것이다.

김재홍 ETRI 소셜로보틱스연구실장은 “ETRI는 실세계에서 각종 임무 계획을 생성하고 실행할 수 있는 로봇을 실현하기 위해 파운데이션 모델을 활용한 로봇 지능 고도화 연구개발에 매진하고 있다"고 말했다.

memory4444444@news1.kr