업스테이지 생성 AI, 성능평가서 챗GPT 기반 GPT-3.5 제쳐

[자료=업스테이지]

인공지능(AI) 스타트업 '업스테이지'는 오늘(1일) 자체 개발한 생성 인공지능(AI)이 오픈AI의 GPT-3.5 성능을 뛰어넘었다고 밝혔습니다.

매개변수(패러미터)가 700억 개 수준인 메타 '라마-2'를 파인튜닝(미세조정)한 업스테이지 자체 모델은 머신러닝 플랫폼 '허깅페이스'에서 운영하는 오픈 거대언어모델(LLM) 리더보드에서 72.3점으로 1위를 차지했습니다.

회사는 미국 스태빌리티AI '스테이블 벨루가2'(71.4점)를 제친 것은 물론, 허깅페이스 리더보드에서 GPT-3.5 벤치마크 점수(71.9점)를 넘긴 첫 사례라고 설명했습니다.

허깅페이스 오픈 거대언어모델 리더보드는 매개변수 1천억개 이하인 거대언어모델들의 추론, 상식 능력, 언어이해 종합능력, 환각 현상(할루시네이션) 방지 등 네 가지 지표를 평가한 뒤 점수를 평균 내 순위를 결정합니다.

앞서 업스테이지는 지난달에도 매개변수 300억 개를 가진 자체 모델이 허깅페이스 리더보드에서 평균 67점을 얻어, 같은 날 발표된 메타의 '라마-2'를 넘어 국내 거대언어모델 처음으로 1위를 기록한 바 있습니다.

당신의 제보가 뉴스로 만들어집니다.SBS Biz는 여러분의 제보를 기다리고 있습니다.홈페이지 = https://url.kr/9pghjn

짧고 유익한 Biz 숏폼 바로가기

SBS Biz에 제보하기

저작권자 SBS미디어넷 & SBSi 무단전재-재배포 금지