빅테크 기업, 거대 AI 언어모델 ‘양보다 질’…소형화 경쟁

사용 수준에 맞춰 매개변수 조절
학습·운용에 드는 시간·비용 절감
휴대폰·PC 등 탑재 가능케 개발

거대언어모델(LLM) 매개변수 크기 비교

‘인간의 언어(자연어)’를 구사하는 인공지능(AI)인 거대언어모델(LLM)을 개발하는 빅테크 기업들이 모델 크기를 줄이는 소형화 경쟁을 시작했다. AI 학습과 운용에 드는 시간과 비용을 절감하고, LLM을 스마트폰이나 PC·개별 기업 서버 등에 탑재하기 위해서다.

21일 AI업계에 따르면, 최근 국내외 정보기술(IT) 업체들은 자체 개발한 LLM을 크기별로 나눠 다양한 버전으로 제공하고 있다. LG의 경우 지난 19일 공개한 ‘엑사원 2.0’을 매개변수 17억개 수준의 초경량화 버전부터 3000억개에 달하는 초거대 버전까지 총 6종으로 만들었다. 메타도 ‘라마2’를 매개변수 70억개, 130억개, 700억개 버전으로 세분화해 제공할 예정이다. 오픈AI의 챗GPT 서비스 기반이 된 GPT-3.5와 GPT-4의 매개변수가 1750억개 이상인 것과 비교하면 큰 차이다.

매개변수는 AI가 연산 과정에서 고려하는 다양한 변수를 일컫는 말이다. 두뇌에서 신경세포들이 정보를 주고받는 연결 부위인 시냅스에 비교되기도 한다. 시냅스가 많을수록 처리 가능한 정보가 많은 것처럼, 매개변수가 많을수록 AI의 성능도 높아진다.

하지만 매개변수가 많을수록 학습과 운용에 소요되는 시간과 비용은 커진다. 챗GPT의 경우 각종 데이터 학습에 수개월이 걸렸고 1000만달러(약 128억원) 이상의 돈이 투입됐다. 반면 매개변수가 70억개 수준인 AI는 3~4시간 만에 훈련을 끝낼 수 있고 비용도 훨씬 적게 든다.

이 때문에 외부에서 제작한 LLM을 기반으로 응용 AI 서비스를 하는 대학, 연구원, 스타트업 등은 소형화를 선호한다. 오픈AI의 샘 올트먼 최고경영자(CEO)도 지난 4월 “거대한 모델의 시대는 끝났다”고 말했다. 구글 역시 지난 5월 매개변수가 수천억개인 ‘팜2’를 공개하면서 차후 경량화 버전도 제공하겠다고 했다.

경량화 모델이라고 해서 성능이 떨어지는 건 아니다. 매개변수를 줄인 대신 질 좋은 데이터를 학습시키고 미세 조정(파인 튜닝)하는 방식으로 성능을 개선하면 된다. 글로벌 AI 플랫폼 허깅페이스에 따르면, 국내 AI 업체인 업스테이지가 제작한 매개변수 300억개 수준의 LLM이 매개변수 700억개 수준인 메타의 라마2보다 성능이 우수한 것으로 나타났다.

LLM 크기가 줄어들면 기업들이 우려하는 보안 문제도 해결할 수 있다. 대규모 모델은 외부 서버를 활용해 클라우드 방식으로 사용할 수밖에 없다. 자연히 AI에 입력한 정보가 외부 서버에 공유되는 구조다. 애플, 삼성전자 등이 직원들에게 사내 챗GPT 사용을 제한한 것도 이런 이유 때문이다. 그러나 모델 크기가 작아지면 기업 자체 서버나 PC 등에 넣어 구동할 수 있어 정보 유출 문제에서 자유로워진다.

매개변수가 수십억개로 줄어들면 스마트폰에도 LLM을 넣을 수 있다. 애플리케이션 프로세서(AP)를 만드는 퀄컴은 내년부터 메타의 라마2를 스마트폰에서 쓸 수 있게 지원하겠다고 밝혔다.

업계 관계자는 “작은 규모의 LLM이 늘어나면 더 많은 기업이 부담 없이 AI 서비스를 제공하게 될 것”이라며 “이제 ‘거거익선’이 아니라 ‘소소익선’의 시대”라고 말했다.

이재덕 기자 duk@kyunghyang.com