미니레코드, 'Open Ko-LLM 리더보드' 성능 평가 1위 달성

미니레코드 AI개발팀 모습/사진제공=미니레코드

미니레코드(대표 김익)가 최근 한국어 LLM(초거대언어모델)의 성능을 비교·평가하는 'Open Ko-LLM 리더보드'에서 1위를 달성(지난 22일 오후 10시 기준)했다고 24일 밝혔다.

Open Ko-LLM 리더보드는 한국지능정보사회진흥원(NIA)과 업스테이지가 구축한 한국어 LLM 경쟁 플랫폼이다. 이번에 7B 이하 분야 1위를 차지한 LLM은 미니레코드의 'Minirecord/Mini_synatra_7b_02'다. 미니레코드는 글로벌 IT기업 '미스트랄AI'를 파운데이션 모델로 삼고, 자체적으로 수집·가공 및 정제한 데이터로 학습과 튜닝을 거쳐 해당 모델을 개발했다.

이번 경쟁에서 1위뿐 아니라 2위도 미니레코드에서 개발한 언어모델이 차지했다. 한국어 LLM 성능 평가에서는 한국어 일반 상식 능력, 추론 능력, 상식 능력, 언어 이해력, 환각방지 능력 등을 평가해 점수를 매긴다. 미니레코드의 'Minirecord/Mini_synatra_7b_02' 모델은 평균 49.88점으로 1위를 기록했고, 'Minirecord/Mini_synatra_7b_01' 모델은 평균 49.36점으로 2위를 차지했다.

미니레코드 관계자는 "1위를 거머쥔 'Minirecord/Mini_synatra_7b_02' 모델은 특정 하나의 평가 지표에 치우지지 않고 모든 지표에서 높은 성능을 나타냈다"고 했다.

미니레코드 측은 이번 성과로 인해 질 좋은 한국어 데이터를 이용한 파인튜닝 기술을 확보하고, 한국어에 최적화된 AI(인공지능) 모델을 구축하는 데 중요한 역할을 할 것으로 내다봤다. 특히 '미스트랄AI'의 파운데이션 모델을 기반으로 높은 점수를 기록하면서 앞으로 출시할 미니레코드의 AI 서비스도 좋은 성능을 보일 것으로 기대했다.

미니레코드 관계자는 "한국어 특화 언어모델과 함께 음성 및 비전 AI 등 다양한 분야의 AI 개발에 집중하고 있다"며 "이를 바탕으로 신규 비즈니스 발굴과 사업 확장에 본격 나설 것"이라고 말했다.

이두리 기자 ldr5683@mt.co.kr