시간·비용부담 줄어…AI스타트업 ‘GPUaaS 구독’ 열풍[스타트업 스트리트]

기간 맞춤형…다양한 실험 가능
숨빗AI·업스테이지 등 잇단 선택
안정성도 장점…관리 부담 줄어

지난해 서울 강남구 코엑스에서 열린 SK AI 서밋에서 관람객들이 엔비디아 DGX B300을 살펴보고 있다. 조태형 기자

서비스형 GPU(GPUaaS)를 구독하는 인공지능(AI) 스타트업이 늘고 있다. GPUaaS는 그래픽처리장치(GPU)를 클라우드 기반으로 빌려 쓰는 구독형 서비스다. GPU를 보다 효율적으로 활용해 시간과 비용 부담을 줄이려는 기업부터, 고성능과 안정성을 이유로 선택하는 스타트업까지 GPUaaS가 필수 인프라로 자리잡는 분위기다. 특히 GPU를 직접 구매하려 해도 높은 비용은 물론 수급까지 어려운 상황이 이어지면서, 구독형 서비스로 눈을 돌리는 기업이 증가하고 있다는 분석이다.

1일 업계에 따르면 의료 AI 스타트업 ‘숨빗AI’는 지난해 하반기부터 엘리스그룹의 GPUaaS를 사용하기 시작했다. 숨빗AI는 흉부 엑스레이(X-ray)의 초안 판독문을 AI로 생성하는 소프트웨어를 개발하는 기업이다. 전 세계적으로 검진이 늘면서 X-ray, 컴퓨터단층촬영(CT), 자기공명영상촬영(MRI) 등 영상검사 건수도 증가하고 있다. 반면 이를 판독할 전문의 수는 검사 증가 속도만큼 빠르게 늘지 못하고 있다. 숨빗AI는 이 간극을 AI로 채울 수 있다고 봤다.

회사가 GPU를 구매하는 대신 GPUaaS를 이용하기로 한 데는 시간과 비용 요인이 작용했다. 숨빗AI는 GPUaaS를 이용해 1400만 건의 흉부 엑스레이 데이터를 학습시켜 여러 차례의 실험을 진행했다. 일정 기간 맞춤형으로 GPU를 활용할 수 있도록 설계한 덕에 다양한 실험을 큰 비용 부담 없이 진행해 볼 수 있었다는 게 회사 측 설명이다. 향후 X-ray 외에도 CT, MRI 등 다양한 영상 자료와 임상 데이터를 아우르는 멀티모달 파운데이션 모델 개발을 목표로 하는 점도 GPUaaS 이용에 유리했다. 데이터의 양이 커질수록 유연성을 갖춘 클라우드 인프라의 필요성은 커지기 때문이다.

자체 거대언어모델(LLM)을 개발하는 업스테이지는 고성능에 주목해 일찍이 삼성SDS의 GPUaaS를 사용해왔다. 업스테이지의 LLM 모델은 수천억의 매개변수를 기반으로 하고 있어 여러 GPU를 동시에 사용해 개발해야 했다. GPU 중에 일부라도 학습이 중단되면 손실이 큰 탓에 GPU 간 원활한 통신도 필수 조건이었다. 고성능의 GPU로 압축된 시간에 LLM을 학습시키는 게 핵심으로 거론되면서 지난해 기준 가장 좋은 성능의 GPU인 엔비디아의 H100을 사용할 수 있는 삼성SDS 서비스를 선택한 것이다. 업스테이지 측은 “지난해 세계적으로 H100을 찾는 기업들이 많아지면서 기업들이 정작 GPU를 구하기 어려워졌다”며 “글로벌 GPU 수급난 속에서도 원활하게 고성능 엔비디아 GPU를 활용하는 클라우드 방식을 선택함으로써 AI 개발 속도를 유지하면서도 GPU 확보에 드는 초기 투자 비용과 관리 부담을 줄일 수 있었다”고 말했다.

외국계 클라우드 기업과 달리 국내 클라우드 기업들이 GPUaaS를 더 안정적으로 제공하는 데 주목한 스타트업도 있다. AI 기반 보안 점검 솔루션을 제공하는 스타트업 티오리한국은 보안 서비스에 필요한 LLM을 구축하기 위해 NHN클라우드의 GPUaaS를 이용하고 있다. 과거 외국계 클라우드 기업의 서비스를 사용하던 중 작동이 멈추는 등 긴급 상황이 발생했지만 시차, 언어 장벽 등으로 제때 지원을 받지 못하는 경우들이 발생했기 때문이다.

업계에서는 이 같은 요인들 외에도 점점 더 많은 스타트업들이 GPUaaS를 쓸 것으로 내다보고 있다. 24시간 365일 가동하는 AI 에이전트, 현실의 작동 방식을 이해하고 미래를 시뮬레이션하는 월드모델 등으로 관련 기술이 발전할수록 GPU도 더욱 필요하다. 실제로 월드모델을 개발 중인 초기 스타트업의 한 관계자는 “벤처캐피탈 등으로부터 시드 투자금을 받고 GPU부터 샀다”며 “그래도 여전히 GPU가 많이 부족하다”고 언급했다.

김태호 기자 teo@sedaily.com김지영 기자 jikim@sedaily.com