LLM보다 효율적… 빅테크들 `SLM 경쟁`

매개변수 적어 운용비 절감 장점
MS·구글·메타 등 시장선점 나서
네이버·삼성전자도 개발대열 합류

도메인 지식 기반 온디바이스 SLM 개발 및 응용서비스 개발 전략도. 한국전자통신연구원 제공

글로벌 주요 소형언어모델(SLM) 비교. 각사 제공

생성형 인공지능(AI)이 나날이 커지고 있는 가운데 AI 언어 모델 운영에 들어가는 막대한 비용과 전력은 빅테크들이 풀어가야 할 최대 난제로 꼽힌다. 이에 테크 기업들이 소규모언어모델(SLM)로 눈을 돌리고 있다. SLM은 AI가 기기 내에 적용되는 온디바이스 기술을 구현하기 위해 꼭 필요한 기술로 대규모언어모델(LLM)보다 파라미터(매개변수)가 적어 운용 비용이 적다. 거대한 학습량과 정확성을 목표로 하는 LLM 대신 싸고 효율성 좋은 SLM이 주목받고 있다는 것이다.

22일 IT업계에 따르면 마이크로소프트(MS)뿐 아니라 구글과 메타 등 다른 대기업들도 SLM을 개발 및 출시하며 시장을 선점하기 위해 노력하고 있다. 인공지능(AI) 시장에서 개발·운영비 문제가 중요해지면서 비용 절감 모델이 주목을 받고 있기 때문이다.

그간 빅테크들은 생성형 AI 기술을 위해 LLM 개발에 열을 올렸다. 하지만 언어모델의 덩치가 커지면서 비용 부담은 배로 늘어났다. 생성형 AI의 기반 인프라인 LLM은 방대한 양의 데이터를 공부해 작동하기 때문에 엄청난 크기의 서버와 저장 공간이 필요하기 때문이다.

파이낸셜타임스(FT)에 따르면 제미나이 1.5프로의 경우 '100만 토큰(AI가 한 번에 처리할 수 있는 데이터 단위)'당 단위 비용이 7달러에 달한다. 오픈AI의 GTP-4o는 5달러가 든다. 반면 SLM의 경우 100만 토큰당 1달러 미만의 비용이 드는 것으로 알려졌다.

하지만 온디바이스AI가 이런 흐름에 변화를 가져오고 있다. 온디바이스AI는 정보를 서버로 보내는 과정을 거치지 않는다. 기기 자체적으로 정보를 모으고 연산한다. 더 이상 무겁고 비용이 많이 드는 LLM 대신 별도 기기에서 구현할 수 있게 가벼워진 SLM이 필요해진 것이다.

SLM은 매개변수가 적어 연산 작업이 단축된 만큼 답을 얻는 시간도 짧고, 크기가 작아 클라우드를 거치지 않고 사내 시스템 내 설치가 가능하다는 장점도 있다. 즉 에너지 효율성이 LLM에 비해 높고 보안성도 높다는 이야기다. 또 SLM은 노트북, 휴대폰과 같은 개인용 기기에서 작동할 수 있다.

이에 빅테크들은 100억개 미만의 매개변수를 갖춘 SLM를 전면에 내세우고 있다. 지난 4월 MS는 회사의 가장 작은 AI모델인 '파이-3(Phi-3)'를 공개했다. 38억개의 매개변수를 지녔지만 GPT-3.5 수준의 성능을 보여주는 것이 특징이다.

세바스티앙 부벡 MS 리서치 머신러닝 리더는 "SLM은 크기와 가격 때문에 인공지능에 접근하기 쉽게 만들 수 있다"라며 "우리는 인공지능을 큰 언어 모델만큼 강력하게 만드는 새로운 방법들을 발견하고 있다"라고 강조했다.

메타도 매개변수 80억개 짜리 '라마-3' 를 출시했고, 허깅페이스도 매개변수 1억 3500만~17억개 수준의 세가지 SLM을 선보였다.

그간 LLM 모델에 주목했던 오픈AI도 지난 5월 출시한 GPT-4o(포오)보다 가벼운 소형 모델인 'GPT-4o 미니'를 출시할 예정이라고 발표했다. 오픈AI는 공식 블로그를 통해 "GPT-4o 미니는 지금까지 회사가 내놓은 AI모델 중 가장 비용 효율적인 소형 모델"이라며 "지난해 출시한 GPT-3.5터보 대비 비용이 60% 이상 저렴하다"고 밝혔다.

미국 시장조사 업체 밸류에이츠리포트는 SLM 시장 규모가 지난 2022년 51억8000만 달러(약 7조1400억원)에서 오는 2029년 171억8000만 달러(약 23조6800억원)에 이를 것으로 전망했다.

이러한 글로벌 흐름에 발맞춰 국내에서도 SLM 개발 경쟁에 합류했다. 매개변수 107억 개의 SLM '솔라(Solar)'를 개발한 업스테이지는 LG전자와 손잡고 온디바이스AI용 SLM 개발에 나서기로 했다.

네이버도 LLM 하이퍼클로바에 이어 SLM 경량화를 고심하고 있는 것으로 알려졌다. 삼성전자도 최근 출시한 휴대폰 갤럭시S24에 자체 개발한 온디바이스 SLM인 가우스를 탑재하였다고 발표한 바 있다.

김근용 엣지컴퓨팅응용서비스연구실 책임연구원은 온디바이스 소형언어모델 기술개발 동향 보고서를 통해 "주요 빅테크 기업들이 파운데이션 모델 개발에 힘쓰고 있는 가운데, 최근 다양한 사업 모델에 적합한 SLM이 주목받고 있다"며 "앞으로 온디바이스 SLM 개발을 위해 모델 압축, 지식 축약, AI 반도체 친화적 구조 최적화 등 다양한 기술적 접근이 시도될 것으로 예상된다"고 설명했다. 유진아기자 gnyu4@dt.co.kr