플리토 '한국어 LLM 리더보드' 데이터셋 추가 제공

인공지능(AI) 언어 데이터 전문 기업 플리토는 한국형 대규모 언어 모델(LLM)을 평가하는 ‘Open Ko-LLM 리더보드’에 신규 추가된 평가 지표 구축을 위한 데이터셋을 제공했다고 22일 밝혔다.

‘Open Ko-LLM 리더보드’는 국내 대규모 언어 모델(LLM)의 성능을 평가하기 위한 공개 플랫폼으로, 지난해 9월부터 한국지능정보사회진흥원(NIA)과 업스테이지가 공동 운영하고 있다. 현재 해당 리더보드에 참여한 대규모 언어 모델 수는 1500개를 돌파했으며, AI 개발을 추진하는 기업과 연구기관 등의 참여가 지속되고 있다.

플리토는 ‘Open Ko-LLM 리더보드’에 새롭게 추가된 평가 항목인 ‘감성 평가(Ko-EQBench)’와 지시준수(Ko-Instruction Following)’의 벤치마크 데이터셋을 한국어로 제공했다. 지난 16일부터 적용된 ‘감성 평가’ 지표는 대화 맥락에서 다양한 감정과 사회적 상호작용을 이해하는 능력을 검증하며, ‘지시준수’ 지표는 주어진 지시에 따라 정확히 행동하는지를 평가한다. 지시준수 평가 항목은 기업 전용 언어 모델의 지시사항 이행 척도를 확인할 수 있는 가늠자가 되어 향후 중요한 테스트 기준으로 활용될 것으로 전망된다.

플리토는 지난달 추가된 ‘상식 추론’과 ‘수학적 추론’ 지표 구축에 참여한 데 이어 이번 평가 항목 신설에도 데이터셋을 공급함으로써 한국형 대규모 언어 모델 생태계 발전에 기여했다. 고품질의 한국어 데이터셋을 제공함으로써 한국 문화와 언어를 더 잘 이해하는 성능 평가를 가능하게 하여 한국어 대규모 언어 모델의 신뢰성을 높는데 긍정적인 역할을 했다.

이정수 플리토 대표는 “이번 평가 항목의 추가로 국내 생성형 인공지능 모델의 발전이 한 걸음 더 앞당겨질 것으로 기대한다”며 “앞으로도 한국어 성능이 보다 더 객관적이고 체계적으로 평가될 수 있도록 고품질의 언어 데이터를 제공하는 데 힘을 보태겠다”고 말했다.

박형수 기자 parkhs@asiae.co.kr