‘GPU 품귀’ 언제까지 이어질까…굳건한 엔비디아 천하, 국내 기업은 틈새 공략

AI 개발 열풍에 ‘금값’ 반도체칩…엔비디아, 시장 80% 이상 독점
업계, 최고 사양 그래픽카드 ‘H100’ 확보 위해 공동 구매 등 심혈
국내 스타트업, 머신러닝 학습·추론 가능한 NPU 개발에 힘 쏟아

엔비디아 H100 GPU. 엔비디아 제공

“마약보다 구하기 어렵다.”(일론 머스크 테슬라 CEO), “희토류나 마찬가지다.”(진 파올리 도큐가미 CEO)

실리콘밸리를 비롯한 세계 정보기술(IT)업계가 모두 미국 반도체업체 엔비디아의 그래픽카드(GPU)를 찾아 헤매고 있다. 지난해 말부터 이어진 생성형 인공지능(AI) 열풍으로 AI 모델을 구축하기 위한 반도체 칩의 수요가 늘면서, 엔비디아 GPU의 품귀 현상은 그칠 줄 모르고 있다.

신제품 주문을 넣어도 받는 데 1년 가까이 걸린다. 엔비디아 GPU를 구하려는 업계 노력은 필사적이다. 공동구매도 심심찮게 벌어지고, 엔비디아 칩을 담보로 자금 조달에 나선 기업까지 있다. “H100(엔비디아의 최고 사양 GPU)을 누가, 얼마나, 언제 구했는지는 실리콘밸리의 가장 큰 가십거리다”라는 말도 나돌 정도다.

22일 반도체 업계에 따르면, 글로벌 투자기관들은 23일(현지시간) 공개되는 엔비디아의 올 2분기 실적에 주목하고 있다. GPU 등 AI용 반도체의 수요를 가늠하고 AI 산업이 어느 정도의 궤도에 올랐는지 판단할 수 있는 잣대가 되기 때문이다.

시장조사업체 포레스터의 글렌 오도넬 애널리스트는 “엔비디아의 (2분기) 실적은 곧 전체 AI 트렌드의 바로미터가 될 것”이라며 “수요가 매우 높기 때문에 결과는 탁월할 것으로 예상한다”고 말했다. 엔비디아의 2분기 매출은 110억8000만달러로 전년 동기 대비 65% 증가한 것으로 추산된다. 월가의 예상치(71억5000만달러)를 50%가량 압도하는 수치다.

그도 그럴 것이, GPU 수요는 공급을 아득히 추월한 지 오래다. 엔비디아 H100, A100 등 AI 개발에 널리 쓰이는 GPU를 하청 생산하는 대만 TSMC가 급격히 늘어난 주문량을 소화하기 어려워지면서다. 엔비디아는 올해 중 H100 칩 55만개를 미국 기술기업들을 위주로 공급할 예정이라고 밝혔으나, 이것만으로 시장의 갈증이 해소될지는 미지수다. 엔비디아 H100의 가격은 이베이에서 지난해까지만 해도 3만6000달러 선이었으나 최근에는 4만5000달러에 거래된다.

상황이 이렇다 보니, 일부 개발자와 연구자들은 GPU 공동구매에 나서기도 한다. 지난 16일 뉴욕타임스에 따르면 미국 스타트업 ‘샌프란시스코 컴퓨팅그룹’은 GPU를 구하기 어려운 소규모 스타트업 등을 대표해 설립된 업체로, 지난달 H100 반도체 512개를 확보하는 데 성공했다.

몸값이 부쩍 오른 AI 칩은 마치 자산처럼 취급되기도 한다. 미국 클라우드 스타트업 코어위브는 이달 초 H100을 담보 삼아 투자기관으로부터 23억달러를 조달했다. 반도체가 부동산·증권 같은 담보 자산으로 활용된 것이다. 로이터통신은 “엔비디아의 AI용 반도체가 지닌 위상과 AI 열풍을 간접적으로 드러낸다”고 평했다.

AI 모델을 훈련시키기 위해 주입되는 텍스트·숫자·이미지 등 정보 값은 천문학적인 규모다. 이를 ‘동시다발적으로’ 처리해내는 반도체는 현시점에서는 시장의 80% 이상을 독점한 엔비디아 GPU 외에는 없다시피 하다. 특히 챗GPT 같은 생성형 AI의 데이터 인프라 역할을 하는 거대언어모델(LLM)을 학습시키려면 엔비디아의 GPU가 필수적이다.

엔비디아의 독점이 견고한 것은 업계의 생태계를 장악했기 때문이다. 엔비디아 GPU의 병렬 컴퓨팅 프로그래밍 언어 ‘쿠다(CUDA)’가 대표적이다. 엔비디아는 쿠다를 모든 프로그래머들이 사용할 수 있도록 무료 공개했고, 결국 현존하는 AI 코드 대부분은 쿠다를 기반으로 짜였다. 엔비디아가 ‘경제적 해자(垓子)’를 구축했다고 평가받는 배경이다. 마치 스마트폰 시대에 안드로이드 운영체제(OS)를 뿌려 구글의 생태계를 만든 것과 비슷하다.

이런 ‘엔비디아 천하’에 균열을 내려는 경쟁사들의 시도도 이어지고 있다. 미국 반도체업체 AMD는 엔비디아 H100에 맞설 AI칩 ‘MI300’을 올해 4분기부터 양산한다. 인텔도 ‘하바나 가우디2’라는 AI 반도체로 엔비디아에 대응하고 있다. 구글 출신 엔지니어들이 차린 미국의 AI 반도체 스타트업 그로크(Groq)도 지난 15일 삼성전자 파운드리에 4나노(㎚·10억분의 1ｍ) AI 가속기 반도체 칩을 위탁 생산하는 계약을 체결했다.

국내 기업들도 도전장을 내밀었다. 팹리스 스타트업 리벨리온, 퓨리오사AI, 사피온 등이 대표적으로, 이들은 주로 GPU보다 효율적으로 연산을 수행할 수 있는 신경망처리장치(NPU)에 집중하고 있다. 리벨리온이 지난 4월 개발한 NPU ‘아톰’의 처리 속도는 이미지 처리 등 특정 분야에서 엔비디아 제품보다 1.4~2배가량 빠르다. 퓨리오사AI도 컴퓨터 비전용 NPU ‘워보이’를 개발해 지난 4월부터 삼성전자 파운드리에서 양산에 들어갔다.

AI 머신러닝은 ‘학습’과 ‘추론’ 두 단계로 나뉜다. 데이터를 입력해 AI 모델을 구축하는 것이 학습이라면, 이 모델에 데이터를 요청해 결과를 얻어내는 것이 추론이다. NPU는 결과값을 얻어내는 추론 부문에 더 특화돼 있다고 평가된다. 바꿔 말하면 학습 영역에서는 아직까지 엔비디아 GPU의 대체재를 찾기 어려운 상황이다.

국내 스타트업들로서는 엔비디아가 장악한 AI 반도체 생태계에서 ‘틈새’부터 공략해 나가는 모양새다. 김형준 차세대지능형반도체사업단장(서울대 명예교수)은 “인공지능 추론 쪽으로 소규모 스타트업들이 시장을 점하기 위해 굉장히 노력하고 있으며 투자도 몰리고 있다”며 “추론과 함께 학습 영역도 가능한 NPU 개발도 이뤄지고 있는 만큼 빠르면 2~3년, 늦어도 3~4년 안에는 엔비디아의 공고한 마켓셰어가 점차 줄어들 것”이라고 내다봤다.

김상범 기자 ksb1231@kyunghyang.com