한국어 리더보드 새 시즌 출시…벤치마크 9개 추가

업스테이지-NIA, '오픈 Ko-LLM 리더보드' 업그레이드…카이스트도 참여

(지디넷코리아=김미정 기자)한국어 거대언어모델(LLM) 성능을 비교할 수 있는 리더보드가 새로운 벤치마크를 탑재해 시즌 2로 재탄생했다. 

업스테이지는 한국지능정보사회진흥원(NIA)과 공동 운영하는 '오픈 Ko-LLM 리더보드'를 업그레이드했다고 12일 밝혔다. 

업스테이지는 새 버전에 ▲ 대학원 수준 추론(Ko-GPQA) ▲상식 추론(Ko-WinoGrande) ▲ 초등 수학(Ko-GSM8K) ▲ 감성(Ko-EQ-Bench) ▲ 지시 이행(Ko-IFeval) ▲ 한국어 신뢰성(KorNAT-Knowledge) ▲ 사회적 가치(KorNAT-Social-Value) ▲ 무해성(Ko-Harmlessness) ▲ 실용성(Ko-Helpfulness) 등 총 9개 벤치마크를 추가했다.

업스테이지는 한국지능정보사회진흥원(NIA)과 공동 운영하는 '오픈 Ko-LLM 리더보드'를 업그레이드했다. (사진=업스테이지)

오픈 Ko-LLM 리더보드는 지난해 9월 민관협력을 통해 개설된 개방형 한국어 LLM 평가 체계다. 산·학·연 각계 분야에서 7월 말 기준 1천700개 넘는 LLM 모델이 성능 경쟁을 하고 있다. 

최근 LLM 기술이 빠르게 발전하면서 1년 전 만들어진 리더보드 벤치마크의 개선 필요성이 대두됐다. 이에 따라 업스테이지와 NIA는 기존 벤치마크를 전면 폐지하고 새로운 성능 평가 지표를 적용한 오픈 Ko-LLM 리더보드 시즌 2 운영을 시작한다.

기존 리더보드는 LLM의 근본적인 언어능력 평가에 초점을 맞췄다면, 새 시즌에서는 고도화된 지능과 문제해결 능력 등 실용적이고 현실적인 부분에 집중한다.

이에 따라 기존 제출됐던 모든 모델을 포함해 향후 제출되는 모든 LLM은 신규 벤치마크를 통해 평가된다. 또 인공지능(AI) 스타트업 플리토, 셀렉트스타 및 카이스트 AI 대학원이 제작에 참여해 벤치마크 데이터셋을 제공할 예정이다.

김성훈 업스테이지 대표는 "새롭게 개편된 리더보드를 통해 한국어 LLM 성능 평가 기준점을 한 단계 더 높일 것으로 기대한다"며 "이번 리더보드가 글로벌 표준을 뛰어넘는 국내 AI 생태계 강화에 도움될 것"이라고 밝혔다.

황종성 NIA 원장은 "리더보드는 민관 협업을 통해 한국어 LLM 생태계 조성에 크게 기여했다"며 "시즌2로 한국어 LLM 기술이 세계적 수준에 한발 더 올라설 수 있는 계기가 되길 바란다"고 말했다.

김미정 기자(notyetkim@zdnet.co.kr)