업스테이지, LLM 평가서 오픈AI 넘었다

이예린 기자 2023. 8. 1. 17:01
자동요약 기사 제목과 주요 문장을 기반으로 자동요약한 결과입니다.
전체 맥락을 이해하기 위해서는 본문 보기를 권장합니다.

인공지능(AI) 스타트업 업스테이지가 개발한 생성 AI가 오픈AI의 챗GPT-3.5 성능을 뛰어넘는 성과를 거둔 것으로 나타났다.

1일 업스테이지에 따르면 매개변수(패러미터)가 700억 개 수준인 메타 '라마-2'를 파인튜닝(미세조정)한 업스테이지 자체 모델이 머신러닝 플랫폼 '허깅페이스'에서 운영하는 오픈 거대언어모델(LLM) 리더보드에서 72.3점으로 1위를 차지했다.

음성재생 설정
번역beta Translated by kaka i
글자크기 설정 파란원을 좌우로 움직이시면 글자크기가 변경 됩니다.

이 글자크기로 변경됩니다.

(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.

업스테이지 제공

인공지능(AI) 스타트업 업스테이지가 개발한 생성 AI가 오픈AI의 챗GPT-3.5 성능을 뛰어넘는 성과를 거둔 것으로 나타났다.

1일 업스테이지에 따르면 매개변수(패러미터)가 700억 개 수준인 메타 ‘라마-2’를 파인튜닝(미세조정)한 업스테이지 자체 모델이 머신러닝 플랫폼 ‘허깅페이스’에서 운영하는 오픈 거대언어모델(LLM) 리더보드에서 72.3점으로 1위를 차지했다.

회사는 미국 스태빌리티AI ‘스테이블 벨루가2’(71.4점)를 제친 것은 물론, 허깅페이스 리더보드에서 챗GPT의 기반이 되는 GPT-3.5 벤치마크 점수(71.9점)를 넘긴 첫 사례라고 소개했다.

허깅페이스 오픈 거대언어모델 리더보드는 매개변수 1000억 개 이하인 거대언어모델들의 추론, 상식 능력, 언어이해 종합능력, 환각 현상(할루시네이션) 방지 등 네 가지 지표를 평가한 뒤 점수를 평균 내 순위를 결정한다.

앞서 업스테이지는 지난달에도 매개변수 300억 개를 가진 자체 모델이 허깅페이스 리더보드에서 평균 67점을 얻어, 같은 날 발표된 메타의 ‘라마-2’를 넘어 국내 거대언어모델 처음으로 1위를 기록했다.

김성훈 업스테이지 대표는 "압도적인 기술력을 바탕으로 (기업 내부 서버에 설치·운영할 수 있고 정보 유출을 막을 수 있는) ‘프라이빗 AI’ 시장 지배력 강화에 박차를 가하겠다"고 말했다.

이예린 기자

Copyright © 문화일보. 무단전재 및 재배포 금지.

이 기사에 대해 어떻게 생각하시나요?