작지만 똑똑한 AI … sLLM 시대 온다

비용은 적고 특정 성능 우수해
학계서 주목하고 개발 잇달아
스캐터랩, AI플랫폼 이어
42마루·스켈터랩스도 서비스

"챗GPT의 연산 비용이 눈물 날 정도다."(샘 올트먼 오픈AI CEO)

오픈AI 'GPT-4', 구글 '팜2', 네이버 '하이퍼클로바X'와 같은 대규모언어모델(LLM) 주도권 경쟁이 벌어진 가운데, 국내 스타트업이 소형 대규모언어모델(sLLM)을 앞세워 틈새를 공략하고 있다.

23일 정보기술(IT) 업계에 따르면 인공지능(AI) 챗봇 '이루다'를 개발한 스캐터랩은 사회적인 상호작용뿐 아니라 전문 지식을 학습해 논리적 상호작용이 두루 가능한 sLLM '핑퐁1'을 개발하고 있다. sLLM은 인간 두뇌의 시냅스에 해당하는 파라미터가 LLM에 비해 적다. 그만큼 학습·운영 비용이 덜 든다. 오픈AI의 GPT-3.5와 구글 팜의 파라미터는 각각 1750억개, 5400억개에 달하는 데 반해 sLLM은 수십억 개에 그친다. sLLM은 만능 범용은 아니지만 특정 영역에서는 높은 수준의 생성 작업을 수행할 수 있으며 활용성이 높다.

스캐터랩은 자체 개발한 sLLM을 토대로 올해 하반기 다양한 기업과 창작자들이 입맛대로 AI 캐릭터를 만들 수 있는 플랫폼을 출시할 계획이다. 앞서 스캐터랩은 국내에 챗GPT 돌풍이 불기 전인 지난해 10월 '이루다 2.0'을 내놨다. 이루다 2.0은 딱딱한 어투의 챗GPT와 달리 평균 0.04초의 빠른 속도와 재치 있는 입담을 무기로 출시 6개월 만에 사용자 150만명을 빠르게 확보했다.

신속한 미세 조정인 파인튜닝에 유리하다는 점이 주효했다는 분석이다. 또 서비스를 운영하면서 모델을 추가 학습시켜 성능을 빠르게 개선할 수 있다는 것도 장점이다. 이루다 2.0은 스캐터랩이 자체 개발한 sLLM '루다 젠1'을 기반으로 작동된다. 루다 젠1은 빠르게 생겨나는 신조어나 사회적 이슈에 대응하기 위해 데이터를 꾸준히 학습했다. 관계성에 특화한 파인튜닝도 거쳤다. 친밀한 관계를 만드는 대화 원칙을 AI 모델이 학습했다. 김종윤 스캐터랩 대표는 "AI 기술 경쟁은 모델 싸움에서 결국 독점적 데이터 경쟁으로 전환되리라고 본다"며 "데이터의 원천은 독자적 기술에 있기 때문에 스캐터랩도 장기적 관점에서 감성 대화에 특화한 데이터셋을 무기로 sLLM 개발에 투자하고 있다"고 말했다.

기계 독해 기술을 자체 개발해 다양한 산업군에서 상용화한 스타트업도 기업고객을 겨냥한 sLLM 개발에 뛰어들었다. 기계 독해란 AI가 글을 읽고 질문하거나 답할 수 있는 기술이다. 포티투마루는 지난 5월 'LLM42'라는 sLLM을 선보이고 국내뿐 아니라 해외에 기술 공급을 추진하고 있다. 스켈터랩스 역시 sLLM인 '벨라(BELLA)'를 개발하고 몇몇 기업에 서비스 공급을 논의 중이다. 기업이 내부 문서나 실시간으로 업데이트되는 이벤트성 정보를 빠르게 모델에 반영할 수 있도록 지원한다.

아울러 엔씨소프트는 연내 초거대 AI 모델인 바르코 출시에 앞서 자체 sLLM을 우선 공개할 것으로 알려졌다. 자체 sLLM을 테스트 베드로 삼아 이를 사내에 적용하고, 초거대 AI 개발에도 활용한다는 구상이다. 이런 AI 모델은 엔씨소프트가 연내 선보일 상호작용이 가능한 디지털 휴먼의 기반이 될 것으로 전망된다. 엔씨소프트 관계자는 "초거대 AI 모델, 소형 AI 모델과 관련해 시점, 규모, 사용 범위 등이 아직 완전히 확정된 것은 아니지만 게임 콘텐츠와 디지털 휴먼 개발에 순차적으로 활용할 계획을 갖고 있다"고 말했다.

이에 학계에서도 주목하고 있다. 스탠퍼드대 연구진이 70억개 파라미터를 갖춘 메타의 라마를 미세 조정해 sLLM '알파카'를 개발하는 데 불과 600달러(약 80만원)를 지출했다. 반면 1750억개 파라미터를 갖춘 오픈AI의 GPT-3는 학습에 약 1000만달러(약 132억원)가 투입됐다. 앞서 마이크로소프트 연구팀은 파라미터 13억개를 가진 새로운 코딩 특화 언어모델 '파이-1'이 그 100배 크기인 GPT-3.5를 일부 능가했다는 연구 결과를 발표한 바 있다.

[우수민 기자]