카카오 AI모델 '카나나', 80억개 이하 모델 한국어 성능 평가 1위

중형급 모델 중 종합 평가해 상위권 기록

[이데일리 강민구 기자] 카카오의 인공지능(AI) 서비스 모델 ‘카나나’가 한국어 언어 모델 AI 성능 평가에서 상위권을 기록했다.

(자료=카나나)

26일 카카오에 따르면 최근 카카오가 오픈소스로 공개한 ‘Kanana-1.5-8b-instruct’ 모델이 한국어 언어 모델(LLM)의 성능을 평가하기 위해 설계된 벤치마크 플랫폼 ‘호랑이(Horang-i) 리더보드’에서 8B 사이즈(매개변수 80억개) 이하 모델 중 1위를 기록했다.

호랑이 리더보드는 웨이트앤바이어스(W&B)가 LLM의 한국어 성능 평가 결과를 공개하기 위해 운영하는 평가 리더보드이다. 언어 모델의 한국어 능력을 비교하고, 국내외 다양한 언어모델을 대상으로 한국어 범용 성능, 정렬성, 정보 탐색 능력을 종합 평가한다.

카카오 모델은 중형 모델 가운데 총점 0.691점을 기록하며 국내 모델 중 가장 높은 순위를 차지했다. 카카오 관계자는 “8b 이하 모델로 한정해 평가 지표를 구분한 결과 카카오의 모델이 최상위로 나타났다”며 “번역과 추론, 지식·질의응답, 구문해석 등의 벤치마크에서 좋은 성과를 거둬 다른 글로벌 모델과 비교해 우수한 경쟁력을 보유한 것을 입증했다”고 말했다.

강민구 (science1@edaily.co.kr)