"AI에 한국 정서 담는 고품질 LLM 개발"…업스테이지-NIA 맞손

[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]

인공지능(AI) 기술 스타트업 업스테이지가 한국형 오픈 거대언어모델(Open LLM) 리더보드를 구축하기 위해 한국지능정보사회진흥원(NIA)과 'AI 허브 데이터 활용 업무협약'을 체결했다고 5일 밝혔다.

이번 협약에 따라 업스테이지는 NIA의 AI 학습용 데이터 제공 플랫폼인 AI 허브에서 제공하는 다양한 분야의 한국어 데이터를 활용한다. 국내 AI 산업 생태계의 발전에 기여하기 위해 'Open-Ko LLM 리더보드'를 이달 내 구축할 계획이다.

Open-Ko LLM 리더보드는 오픈 LLM 모델을 평가하는 허깅페이스 오픈 LLM 리더보드의 한국 버전이다. 한글 기반으로 개발된 LLM들의 성능을 평가하고 순위를 매긴다.

기존의 추론과 상식 능력, 언어 이해 종합능력 및 환각 현상 방지 등 4가지 지표에 NIA와 학계 등 신뢰할 만한 데이터를 기반으로 윤리와 전문가 지식 등 추가 기준을 개설해 모델을 평가한다.

업스테이지는 지난달 허깅페이스 오픈 LLM 리더보드에서 자사의 생성 AI 모델로 1위를 차지한 바 있다. 이번 협력을 통해 한국 문화 정서를 담아낼 수 있는 고품질의 LLM을 개발하는 것을 넘어 이를 국내 LLM 독립을 위한 생태계 조성에 기여한다는 목표다.

NIA는 업스테이지의 1T클럽에 가입해 양질의 데이터를 제공한다. 지난달 출범한 1T클럽은 텍스트와 책, 기사 등 다양한 형태에서 1억 단어 이상의 한국어 데이터를 기여하는 파트너들과 협력하고 있다.

1T클럽은 '1 Trillion 토큰 클럽'을 의미한다. 파트너들은 업스테이지가 제작하는 LLM의 API를 할인된 가격에 사용할 수 있고, LLM의 API 사업으로 창출될 수익을 공유받을 수 있다.

김성훈 업스테이지 대표는 "NIA와 협력해 한국어 데이터 부족 문제를 해결하고 국내외 시장에서 경쟁력 있는 AI 플랫폼을 제공하겠다"며 "한국형 Open LLM 리더보드로 국내 LLM들의 성능과 혁신성을 증명하고 AI의 발전과 보급에 노력하겠다"고 했다.

[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']

최태범 기자 bum_t@mt.co.kr

경제