[단독] “8곳 문의했는데 견적조차 못 받아”…칩 임대 못해 AX 포기도

[GPU 부족에 ‘부르는 게 값’]
AI 연산 수요 추론으로 빠르게 확장
클라우드사 대규모·장기계약 선호
스타트업들 신사업 기회까지 제약
네오클라우드 기업 몸값 천정부지
정부 AX 확산 전략도 차질 가능성

데이터 분야 인공지능(AI) 스타트업 A사는 최근 정부 유관기관의 AI 전환(AX) 사업 입찰을 준비했지만 그래픽처리장치(GPU)를 확보하지 못해 결국 사업 참여를 포기했다. 사업비를 산정하기 위해 국내 GPU 임대 서비스(GPUaaS) 업체 8곳에 가용 물량과 가격을 문의했지만 견적서조차 제대로 받지 못했다. 회사 관계자는 “최신 GPU를 구하지 못해 이전 세대인 H100으로 눈을 돌렸지만 상황은 다르지 않았다”며 “GPU 비용을 계산해야 입찰할 수 있는데 사용량을 확약하기 어렵거나 이용 규모가 작으면 견적서도 주지 않는다”고 말했다.

AI 연산 수요가 급증하면서 GPU 임대료 상승과 물량 확보난이 기업들의 신사업 기회를 제약하고 있다. 신형 GPU가 공급되는 가운데 이전 세대인 H100까지 수요가 몰리는 데다 공급 업체들이 대규모·장기 계약을 선호하면서 소규모 고객의 이용 문턱이 높아지는 양상이다. 연산 자원 확보 능력이 사업 참여 여부를 가르면서 정부가 추진하는 AX 확산에도 걸림돌이 될 수 있다는 우려가 나온다.

21일 시장조사 업체 세미애널리시스에 따르면 전 세계 H100 클라우드 기업들의 시간당 임대료 평균 가격은 지난해 1분기 말 1.95달러에서 올해 8월 말 2.8달러로 43.6% 상승했다. 신형 GPU 출시에도 이전 세대 제품의 임대료가 오르는 것은 AI 연산 수요가 공급 확대 속도를 웃돌고 있기 때문이다. 생성형 AI 활용이 에이전트와 기업용 서비스로 확산하면서 학습뿐 아니라 추론에 필요한 연산 자원 수요도 늘고 있다.

GPU 수급을 압박하는 가장 큰 요인은 추론 수요 증가다. 과거에는 초거대 AI 모델을 만드는 학습 단계에서 막대한 연산 자원이 집중적으로 필요했다면 이제는 AI 에이전트와 기업용 AI 서비스가 확산하면서 이용자가 서비스를 사용할 때마다 연산이 요구되는, 즉 추론 수요가 지속적으로 발생하고 있다.

게다가 GPU를 확보하더라도 누구나 쉽게 쓸 수 있는 게 아니다. 충분한 전력과 냉각시설을 갖춘 AI 데이터센터(AIDC)가 필요하지만 당장 사용할 수 있는 시설은 제한적이다. 국내 대형 클라우드 기업의 한 관계자는 “AI 인프라 수요는 많은데 이를 수용할 데이터센터 공급이 부족해 급한 고객은 비용이 비싼 AIDC를 이용할 수밖에 없다”며 “GPU뿐 아니라 이를 실제로 가동할 인프라 부족도 서비스 가격을 끌어올리고 있다”고 설명했다.

그나마 대기업들은 GPU 이용이 상대적으로 어렵지 않은 편이다. 클라우드 사업자들이 GPU 가동률이 수익성과 직결된다는 점에서 대규모·장기 이용 고객을 선호하기 때문이다. 클라우드 사업자들은 막대한 비용을 들여 확보한 GPU가 유휴 상태로 남으면 고스란히 비용 부담을 떠안게 된다. 이에 공급 업체들은 장기간 일정한 물량을 사용할 수 있는 고객을 통해 안정적인 가동률을 확보하려고 한다. 대기업들 역시 GPU 임대료 상승에 베팅을 하고 장기 계약을 하는 경향이 크다.

반면 연산 자원을 새로 확보해야 하는 중소기업의 부담은 커지고 있다. 상당수 중소 스타트업은 AI 관련 사업을 정부 AX 과제 도전으로 시작한다. 정부 AX 사업은 정해진 예산 안에서 GPU 이용료와 개발비·인건비 등을 산정해 사업 계획을 제출해야 한다. 물량과 가격을 미리 확정하지 못하면 입찰 단계부터 차질을 빚을 수밖에 없다.

결국 이 같은 GPU 확보 양극화 현상이 장기화하면 연산 자원을 선점한 기업에 사업 기회가 쏠릴 가능성도 있다. AI 업계 관계자는 “사실상 GPU를 이미 많이 확보한 대기업을 중심으로 AX 시장이 돌아갈 수밖에 없게 됐다”며 “이제는 GPU를 가진 곳이 ‘갑’”이라고 말했다.

이런 상황에서 AI 특화 GPU 임대 업체인 네오클라우드 기업들의 몸값은 최근 치솟고 있다. 미국 시장에서 네비우스 주가는 18일(현지 시간) 기준 올 들어 148.52% 뛰었다. 지난달 네비우스는 올해 2분기(4~6월) 실적 발표에서 매출이 5억 8230만 달러를 기록해 전년 동기 대비 454% 성장했다고 밝혔다. 10억 달러를 초과하는 대형 AI 클라우드 계약 4건이 체결되면서 역대 최고 실적을 이끌었다. 코어위브도 지난달 발표한 2분기(4~6월) 매출이 25억 8000만 달러로 전년 동기 대비 112% 증가했다.

비상장 네오클라우드로도 투자 열기가 번지고 있다. 영국계 엔스케일은 기업가치 300억 달러를 목표로 미국 증시 상장 절차를 공식화했으며 람다 역시 내년 초 상장을 목표로 최대 30억 달러 규모의 자금 조달을 논의하고 있다.

서지혜 기자 wise@sedaily.com김지영 기자 jikim@sedaily.com실리콘밸리=김창영 특파원 kcy@sedaily.com