업스테이지 LLM, 챗GPT-3.5 성능 뛰어넘었다

‘허깅페이스 오픈 LLM 리더보드’서 세계 1위

업스테이지 '오픈 LLM 리더보드' 평가 점수서 세계 1위. ⓒ업스테이지

업스테이지는 자사가 개발한 생성 인공지능(AI) 모델이 글로벌 머신러닝 플랫폼 허깅페이스에서 운영하는 ‘오픈 LLM(거대 언어 모델) 리더보드’ 평가 점수에서 72.3점을 획득해 챗GPT의 기반인 GPT-3.5 성능을 뛰어넘고 1위를 차지했다고 1일 밝혔다.

업스테이지에 따르면 허깅페이스 오픈 LLM 리더보드는 오픈소스 생성 AI 모델의 바로미터로 꼽힌다. 전 세계 500여개의 오픈 모델들이 추론과 상식 능력, 언어 이해 종합능력 및 환각현상(할루시네이션) 방지 등 4가지 지표의 평균 점수로 경쟁, 공신력 있는 순위가 매겨진다.

앞서 지난달 업스테이지가 허깅페이스를 통해 공개한 30B(300억) 매개변수 모델은 평균 67점을 획득해 같은날 발표된 메타의 ‘라마(LLaMA) 2’ 70B 모델을 추월하고 국내 LLM 최초 1위 달성이라는 쾌거를 올린 바 있다.

이에 업스테이지는 더 많은 데이터로 최신 라마 2 70B(700억) 매개변수 기반으로 파인튜닝한 모델을 내놓으며 글로벌 1위 굳히기에 나섰다. 그 결과 새롭게 공개된 업스테이지 70B 모델은 리더보드 평가에서 72.3점을 기록해 라마2 발표 이후 순위를 차지한 미국 스테빌리티(Stability) AI의 ‘스테이블 벨루가2’ 모델(71.4점)을 뛰어넘고 세계 1위를 재탈환하는 쾌거를 이뤄냈다.

특히 업스테이지의 최신 모델은 챗GPT의 기반이 되는 GPT-3.5의 벤치마크 평가(71.9점) 점수를 넘기는 이변을 연출했다. 허깅페이스 리더보드 기준 생성 AI 모델의 대명사 격인 GPT-3.5의 점수를 능가한 사례는 업스테이지가 최초라는 설명이다.

업스테이지는 AI 올림픽으로 불리는 ‘캐글’ 경진대회와 국제 학회 논문상 등을 휩쓴 최고의 인력을 투입해 두 달여 만에 GPT-3.5를 상회하는 모델을 개발했다. 최초의 한국어 자연어이해(NLU) 평가 데이터셋 ‘클루’를 구축하고, OCR 세계대회인 ICDAR에서 4개종목 우승, 그리고 130만 이용자를 돌파한 국내 대표 생성 AI 서비스 ‘AskUp’ 운영으로 축적된 프롬프트 엔지니어링 및 파인튜닝 노하우 등 업스테이지만의 차별화된 기술 자산을 총 결집한 결과다.

앞으로 업스테이지는 세계적인 경쟁력을 인정받은 자사의 AI 모델 상용화를 통해 본격적인 ‘프라이빗(Private) AI’ 시장 개척에 나선다. 프라이빗 AI는 기업 내부 데이터만 학습해 정보 유출을 막고 잘못된 정보를 생성하는 환각 현상을 방지하는데 특화된 솔루션으로, 보안 이슈 등으로 생성 AI 도입을 주저하는 기업들에 매력적인 대체재로 각광받고 있다.

업스테이지는 기업들이 글로벌 톱 수준의 업스테이지 LLM 기반의 프라이빗 AI를 도입함으로써 최신 생성 AI 기술을 손쉽게 구축하고 활용할 수 있을 것으로 기대하고 있다. 특히 최소 수천억이 넘는 매개변수로 구성된 빅테크 기업의 거대 LLM보다 경량화된 모델 사이즈로 더욱 뛰어난 성능을 제공해 도입 및 운용 비용도 크게 절감할 수 있다고 설명했다.

김성훈 업스테이지 대표는 “업스테이지의 생성 AI 모델이 챗GPT를 능가하는 성능으로 세계 최고 수준의 기술력을 확인하게 되어 기쁘다”며 “앞으로 업스테이지는 압도적인 기술력을 바탕으로 국내외 프라이빗AI 시장 지배력 강화에 박차를 가할 것”이라고 말했다.