업스테이지-NIA, 한국어 AI 경쟁력 제고 'Open-Ko LLM 리더보드' 개설

[사진= 업스테이지 제공]

업스테이지가 한국지능정보사회진흥원(NIA)과 함께 한국어 대규모 언어모델(LLM) 리더보드 'Open Ko-LLM 리더보드'를 구축한다.

Open Ko-LLM 리더보드는 한국어 LLM 모델을 등록, 경쟁 가능한 공개 플랫폼이다. 허깅페이스가 운영하는 오픈LLM 리더보드의 기존 데이터를 단순 번역한 것이 아니라, 한국어 특성과 문화를 반영한 고품질 데이터를 자체 구축한 것이 특징이다.

또 상식 생성 능력을 살펴보는 '상식생성' 기준을 추가해 한국어 LLM 모델 성능과 다양성을 평가한다. 상식생성은 업스테이지가 임희석 고려대 교수 연구진과 협업해 구축한 데이터셋이다. 역사 왜곡, 환각 오류, 형태소 오류 등 광범위한 유형의 질문지로 구성했다. AI가 주어진 조건에서 만들어 낸 결과물이 일반 상식에 부합하는지 측정한다.

Open Ko-LLM 리더보드는 한국어 LLM 연구 수준과 경쟁력을 높이고, 데이터 양과 질을 개선할 것으로 기대된다. 안정적 운영을 위해 KT클라우드가 인프라를 지원한다.

김성훈 업스테이지 대표는 “NIA와 함께 한국어 LLM 경쟁력을 높일 Open Ko-LLM 리더보드를 개설하게 돼 기쁘다”면서 “고품질 한국어 데이터 공유는 물론, 리더보드를 통한 협업 촉진과 빠른 기술 전파로 한국 AI 생태계 발전에 기여할 것”이라고 말했다.

류태웅 기자 bigheroryu@etnews.com