'전력·연산' 갈수록 비대해지는 AI…다이어트 기술에 CVC 줄베팅
[편집자주] '테크업팩토리'는 스타트업과 투자업계에서 가장 '핫'한 미래유망기술을 알아보는 코너입니다. 우리의 일상과 산업의 지형을 바꿀 미래유망기술의 연구개발 동향과 상용화 시점, 성장 가능성 등을 짚어봅니다.
[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
문제를 해결하기 위해서는 더 빠르고 전력효율이 좋은 반도체가 필요하다. AI를 음식에, 반도체를 그릇에 비유하자면 음식이 많아진 만큼 큰 그릇을 준비해야 하는 것이다. 그러나 반도체 발전 속도는 AI의 발전 속도에 비해 상대적으로 더디고 가격도 비싸다. 이에 AI모델을 효율화하는 'AI 모델 경량화(Model Compression·)' 기술이 주목받는다. 음식 크기에 맞는 그릇이 개발될 때까지 일단 음식을 잘게 부수거나 꾹꾹 눌러 넘치지 않게 만드는 방식이다. 이를 통해 새로운 반도체 구매 비용을 절감시켜주고, 같은 반도체 환경에서 더 성능 좋은 AI 모델을 사용할 수 있게 지원한다.
업계에서 주로 사용하는 AI 모델 경량화 기법은 주로 '가지치기(Pruning)'와 '양자화(Quantization)' 방식이다. 가지치기는 주로 사용되는 연산에서 중요하지 않은 매개변수를 찾아 제거하는 방식으로 AI 모델을 경량화한다. 양자화는 일종의 반올림처럼 매개변수의 비트를 바꿔 데이터 처리 방식을 경량화하는 기법이다. 그밖에 서로 다른 AI 모델의 데이터를 효과적으로 전달하는 '지식 증류(knowledge distillation)'나 '경량 네트워크 디자인' 등 기법도 사용된다.
기법은 다양하지만 효과는 △저전력 △고속화로 동일하다. 업계 관계자는 "AI 모델의 종류나 용도, 활용 분야에 따라 각각 적합한 경량화 기법이 다르다"며 "필요에 맞춰 다양한 경량화 기법이 사용된다"고 말했다. 그러면서 "경량화를 할수록 저전력·고속화가 가능하지만 연산 정밀도는 낮아질 수 있는 만큼, 고객의 상황에 맞춰 경량화를 진행하는 것이 핵심"이라고 말했다.
노타는 다양한 디바이스(기기)의 AI 모델을 경량화해줄 수 있다는 점을 강점으로 내세운다. 채명수 노타 대표는 "경량화 기술은 AI 모델을 적용할 기기가 서버인지, 스마트폰인지, 자율주행차인지, 혹은 어떤 사양인지에 따라 다르게 적용해야 한다"며 "노타는 다양한 하드웨어에서 최적화된 경량화를 제공한다"고 했다. 노타는 고객에 따라 양자화와 가지치기 방식을 모두 사용한다.
노타의 기술력은 글로벌 시장에서도 인정받고 있다. 글로벌 시장조사기관 CB인사이트는 지난해 LLMOps(초거대언어 AI 모델운영) 분야 선두기업 조사에서 노타를 'AI 최적화' 부문 대표기업 4곳 중 1곳으로 선정했다. 2022년부터 3년 연속 엔비디아의 개발자 컨퍼런스 GTC 발표기업으로 선정되기도 했다.
스퀴즈비츠의 경량화 솔루션은 '양자화' 방식에 집중하고 있는 것이 특징이다. 김형준 스퀴즈비츠 대표는 "기업들마다 집중하고 있는 세부 기술이 조금씩 다르다"며 "스퀴즈비츠는 양자화로 더 효율적인 경량화가 가능한 분야에서 강점을 가지고 있다"고 말했다.
두 기업에 투자한 CVC들은 SI(전략적 투자)성격의 투자는 아니라면서도 모기업과의 협업 가능성은 열려 있다고 했다. 실제 해외에서는 경량화 솔루션 스타트업인 옴니ML이 창업 2년만에 엔비디아에 인수되는 등 빅테크 기업과의 적극적인 협업이 이뤄지고 있다.
투자업계에 따르면 AI모델 경량화 기술에 한정해서는 시장조사기관에서도 아직 공식적으로 시장을 집계하지 않았다. 다만 생성AI가 확산되고 시장이 커질수록 경량화 시장도 커질 수밖에 없다는 게 투자자들의 판단이다. 해외에서도 뉴럴매직, 오토AI(OctoAI), 데씨이AI(DeciAI) 등 스타트업들이 가파르게 성장하고 있다.
특히 최근 불고 있는 온디바이스AI 열풍도 경량화 스타트업이 주목받는 이유다. 온디바이스AI는 더 낮은 하드웨어 스팩, 전력 환경에서 작동되는 만큼 이를 각종 디바이스에서 제대로 구동시키기 위해서는 다양한 경량화 기술 도입이 필수적이기 때문이다.
투자업계 관계자는 "AI 모델은 규모가 커질 수록 성능이 좋다는 게 검증된 명제"라며 "더 큰 AI 모델을 효율적이고 저렴하게 사용할 수 있게 해주는 기술과 시장은 지속적으로 성장할 수밖에 없을 것"이라고 말했다.
[머니투데이 스타트업 미디어 플랫폼 유니콘팩토리]
고석용 기자 gohsyng@mt.co.kr
Copyright © 머니투데이 & mt.co.kr, 무단 전재 및 재배포 금지
- 유재환 수법에 연예인도 당해…임형주 "돈 빌려 달라해서 송금" - 머니투데이
- '코인 천재' 아내, 26억 벌었다…명퇴 남편 "내가 요리할게" - 머니투데이
- 한예슬, 가라오케서 만난 10살 연하 남친과 결혼…"이제 유부녀" - 머니투데이
- 유재환 '작곡비 먹튀' 피해자 100명?…"더 폭로하면 고소할 것" 협박도 - 머니투데이
- 로펌 월급에 4배 벌어…성인방송 뛰어든 중국 변호사 - 머니투데이
- "왜 호중이만 갖고 그래"…구속되면 못 볼라 공연장 앞 몰려든 팬들 - 머니투데이
- 지구 재앙의 예고편…원숭이가 사과처럼 우수수 떨어져 떼죽음 - 머니투데이
- "김호중, 자숙 말고 구속"…오늘 공연 강행하자 쏟아진 반응 - 머니투데이
- 어린 김호중에 "술 천천히 마셔, 누가 쫓아오냐"…술자리 언급한 변호사 - 머니투데이
- '징맨' 황철순, 주먹으로 여성 얼굴 20차례 '퍽퍽'…또 재판행 - 머니투데이