업스테이지, 메타 이어 LLM 평가서 2위

업스테이지 제공

국내 인공지능(AI) 스타트업 업스테이지가 세계 거대언어모델(LLM) 분야 평가에서 메타에 이어 2위에 올랐다.

업스테이지는 AI 플랫폼 허깅페이스가 운영하는 오픈 LLM 리더보드에서 이달 초 기준 64.7점으로 메타의 ‘라마-2’(66.8점)에 이어 2위를 차지했다고 19일 밝혔다.

허깅페이스 오픈 거대언어모델 리더보드는 매개변수(패러미터) 1000억 개 이하인 거대언어모델들의 추론, 상식능력, 언어이해 종합능력, 환각 현상(할루시네이션) 방지 등 네 가지 지표를 평가한 뒤 점수를 평균 내 순위를 결정한다.

업스테이지는 매개변수가 300억 개 수준으로 적은 편이지만, 마이크로소프트(MS)와 스태빌리티 AI, 데이터브릭스 등 주요 인공지능 업체들이 개발한 거대언어모델 대비 평균 10％ 이상 높은 성적을 기록했다고 소개했다.

또 회사는 존재하지 않거나 거짓 답변을 하는 ‘할루시네이션’ 방지 지표에서 56.5점을 받아, 매개변수가 700억 개 수준인 라마-2(52.8점)를 제쳤다.

업스테이지 관계자는 "검색을 이용하는 것이 할루시네이션 방지의 핵심"이라면서 "벡터 검색으로 답변 근거를 보완하고 있다"고 설명했다.

업스테이지는 자체 모델 개발 2개월 만에 세계 최고 수준의 인공지능을 만들었다면서, 기업 내부 서버에 설치·운영할 수 있고 정보 유출을 막을 수 있는 ‘프라이빗 AI’ 시장에서 경쟁력을 입증했다고 평가했다.

앞으로 회사는 국내 기업들의 다양한 요구에 부응하기 위해 한국어 성능을 높이고 거대언어모델에 관련 데이터를 추가로 학습시킬 예정이다.

김성훈 업스테이지 대표는 "기술력을 바탕으로 국내 기업은 물론 전 세계 모든 기업이 인공지능을 편리하게 이용할 수 있도록 노력하겠다"고 말했다.

이예린 기자