스태빌리티 AI, sLLM 공개 “최신 소형모델이 오래된 대형 모델 능가”

1억6000만 파라미터
올 들어 두번째 모델 공개

스태빌리티 AI(Stability AI)

스태빌리티 AI(Stability AI)가 소형 대규모언어모델(sLLM)인 ‘스테이블(Stable) LM 2 1.6B’를 공개했다고 20일(현지시각) 발표했다.

스테이블 LM은 스태빌리티 AI가 2023년 4월 처음 출시한 텍스트 생성용 대규모 언어 모델(LLM)이다. 이전에는 30억·70억 파라미터 모델을 출시했다. 이번 스테이블 LM 모델은 올해 스태빌리티 AI가 출시한 두 번째 모델이다. 앞서 ‘스테이블(Stable) Code 3B’을 공개한 바 있다.

스테이블(Stable) LM 2 1.6B은 영어, 스페인어, 독일어, 이탈리아어, 프랑스어, 포르투갈어, 네덜란드어 등 7개 언어를 지원한다. 1억6000만 파라미터의 소형 언어 모델이다.

스테이블(Stable) LM 2 1.6B 벤치마크 지수

스태빌리티 AI의 언어 팀 책임자 카를로스 리켈메(Carlo Riquelme)는 “일반적으로 더 큰 모델이 더 작은 모델보다 우수한 성능을 보인다”면서 “하지만 새로운 모델이 더 나은 알고리즘을 구현하고 더 많은 고품질 데이터로 훈련되면서, 더 작은 최신 모델이 더 오래된 큰 모델을 능가하는 것을 목격하기도 한다”고 말했다.

스테이블 LM 2 1.6B는 20억개 미만의 파라미터를 가진 다른 소형 대규모 언어 모델들을 능가한다고 회사측은 설명했다. 리켈메는 “Stable LM 2 1.6B는 몇 개월 전에 훈련된 일부 더 큰 모델보다 더 나은 성능을 발휘한다”며 “컴퓨터, TV 또는 마이크로칩과 같이 시간이 지남에 따라 더 작고 얇아지고 더 나아지는 유사한 추세를 볼 수 있다”고 말했다.