미디어그룹 ‘사람과숲’, 한국어 특화 LLM 리더보드에서 1위 재탈환

-한국어 공공 행정 문서와 민원 응대 등에 활용 가능할 듯

미디어그룹 사람과숲의 한윤기 대표 - 미디어그룹 사람과숲의 한윤기 대표

미디어그룹인 ‘사람과숲’은 한국정보화진흥원(NIA)과 업스테이지가 주최하는 한국어 ‘초거대 언어 모델’(LLM) 리더보드인 ‘Open Ko-LLM’에서 1위를 차지했다고 16일 밝혔다.

이번 리더보드 개발 경쟁에서 1위를 차지한 사람과숲의 LLM은 ‘HumanF-MarkrAI/COKAL-DPO-13b-v2’다. ‘사람과숲’이 마커와 컨소시엄을 이뤄 공동 개발한 것이다. 글로벌 IT 기업 메타에서 오픈소스로 공개한 ‘라마2’를 파운데이션 모델로 삼고 자체적으로 수집·가공한 데이터에 인스트럭트 파인 튜닝을 거쳐 개발했다.

이번 리더보드는 LLM의 한국어 성능을 겨뤄 순위를 매겼다. 50개 이상의 개인 및 조직에서 100개 이상의 LLM이 제출됐다. LLM에 대한 △추론 능력 △상식 능력 △언어 이해력 △환각 방지 능력 △한국어 상식 생성 능력 등 5가지 평가 지표에 따라 점수를 매겼고 ‘HumanF-MarkrAI/COKAL-DPO-13b-v2’ 모델이 평균 점수 52.69으로 1위를 기록했다.

‘사람과숲’은 지난 9월 28일 리더보드에서 1위를 한 이후 4주간 수차례 1위를 해왔으나 지난 1일 주최 측에서 측정지표를 바꾸면서 2순위로 밀렸다. 하지만 사람과숲은 4주간 1위를 차지했을 뿐 아니라 꾸준히 연구개발에 나선 결과 이번 LLM 리더보드에서 최고 점수인 52.69를 기록했다.

해당 연구를 이끈 정철현 박사는 “이번 LLM은 AI-허브의 한국어 공공 행정 문서와 민원 응대 데이터가 주요 데이터 소스로 활용됐다”며 “이 LLM은 공공 행정 업무를 수행하는 챗봇을 위해 튜닝한 것이지만 종합 성능이 국내 1위 수준으로 더 다양한 용도로도 활용할 수 있다”고 전했다. 한윤기 미디어그룹사람과숲 대표는 “향후 한국어 특화 LLM 리더보드가 좀 더 활성화 되어 한국어 AI의 기술 발전에 계속 기여하고, 특히 공공 행정 분야에서 가장 사랑받는 ‘한국형 챗GPT’를 만들어 나가겠다”고 포부를 밝혔다.

한준규 기자