가죽점퍼 남자가 꺼내든 칩…미친듯이 빨라진다는데

젠슨 황 엔비디아 CEO, 신제품 GH200 공개
메모리 늘려 인공지능 추론 능력 강화
AMD 등 추격자 따돌리려는 목적

8일(현지시간) 미국 로스엔젤레스에서 개최된 시그래프 2023 에서 기조연설을 하는 젠슨황 엔비디아CEO. [사진 제공 = 엔비디아]

세계적인 반도체 기업 엔비디아가 생성형AI 추론 작업에 특화된 AI 가속기를 공개했다. AMD 를 비롯해 수많은 추격자들을 따돌리고 80%에 달하는 점유율을 유지하겠다는 의지를 보인 것이다.

젠슨 황 엔비디아 CEO는 8일(현지시간) 미국 로스앤젤레스에서 열린 컴퓨터 그래픽스 콘퍼런스 시그래프에서 차세대 AI 가속기 플랫폼 ‘GH200 그레이스 호퍼’를 선보였다. GH200 은 엔비디아의 최고급 AI 반도체인 GPU H100 에 ARM 기반의 CPU 가 탑재된 제품이다. 특히 HBM 4세대 제품인 HMB3e 를 탑재해서 AI 가속기의 처리속도를 끌어올렸다. 엔비디아에 따르면 기존 H100 GPU 대비 1.7배의 능력과 1.5배 대역폭을 갖고 있다. 엔비디아는 GH200 을 내년 2분기부터 생산할 계획이다.

HBM은 여러 개의 D램을 수직으로 연결해 쌓아 기존 D램보다 데이터 처리 속도를 크게 끌어올린 메모리로 삼성전자, SK하이닉스 등이 생산한다.

젠슨 황 엔비디아 최고경영자(CEO)는 “이 프로세서는 이전 모델보다 훨씬 더 강력하다”며 “증가하는 AI 컴퓨팅 파워 수요를 충족시키기 위해 세계 데이터 센터의 규모를 확장하도록 설계됐다”고 설명했다.

GH200 은 AI 추론 작업에 더 특화됐다. 데이터를 가지고 AI 모델을 만드는 것이 학습 작업이라면 이미 만들어진 모델에 데이터를 입력해 결과를 얻어내는 것이 추론이다. 메모리를 늘려 추론작업의 성능을 끌어올린 것이다. H100 이 80GB의 메모리를 갖고있는데 반해 GH200 의 메모리는 141GB 로 훨씬 크다.

황 CEO는 “원하는 거의 모든 대규모 언어 모델을 여기에 넣으면 미친 듯이 추론할 수 있을 것”이라며 “(이렇게 되면) 대규모 언어 모델을 추론하는 데 드는 비용이 크게 떨어질 것”이라고 강조했다.

특히 추론분야에 집중한 제품을 내놓은 것은 두 가지 이유로 예상된다. 먼저 챗GPT, 스테이블디퓨전 등 생성형AI 시장이 폭발적으로 성장하면서 AI 추론 작업에 대한 수요가 폭발하고 있다. 챗GPT 와 대화를 하거나 AI 로 이미지를 생성하는 일이 매우 많아지고 있다.

두번째는 AI 가속기 시장에서 추격자들을 따돌리기 위한 목적으로 보인다. 최근 AMD 는 MI300X 라는 엔비디아의 경쟁 제품을 내놓고 엔비디아를 공략하고 있다. MI300X 도 생성형AI 에 특화된 제품으로 AWS 에 도입될 예정이다. 인텔도 하바나 가우디2 라는 AI 가속기로 엔비디아에 도전하고 있다.

엔비디아의 AI 가속기를 구매해 데이터센터를 구축하는 클라우드 사업자들도 자체적인 AI 가속기를 만들고 있다. 구글은 이전부터 TPU를 만들어 현재는 TPU v4 를 사용하고 있다. AWS 는 인퍼런시아(추론용)와 트레이니움(학습용)이라는 자체적인 AI 가속기를 보유하고 있다. 한국에서는 네이버가 삼성전자와 손을 잡고 AI 가속기를 개발하고 있고, 리벨리온과 퓨리오사AI 와 같은 스타트업들도 개발 중이다.

이처럼 엔비디아에 도전하는 AI 가속기들은 ‘추론용’ 시장을 먼저 공략하고 있다. 학습용 AI 반도체보다는 공략이 쉬울 것이라는 판단에서다. AMD 도 MI300X 가 추론 영역에서 경쟁사 대비 강점을 가지고 있다고 강조했다.

엔비디아는 AI 가속기 시장의 80% 이상을 점유하고 있다. CUDA 라고 하는 소프트웨어 플랫폼 등을 통해 AI 개발자들을 자신들의 제품에 락인시키고 있다. 최근 기업들이 생성형AI 시장에 뛰어들면서 엔비디아의 AI 가속기 수요는 폭발하고 있지만 생산이 이를 따라가지 못하고 있다. 엔비디아의 주가는 올해들어서만 212% 오르면서 미국 기업 시가총액 5위에 올랐다.

엔비디아는 손쉽게 생성형 AI를 개발할 수 있는 플랫폼 ‘AI 워크벤치’도 공개했다. AI 워크벤치를 통해 누구나 그래픽처리장치(GPU)를 이용할 수 있고 생성형 AI 크리에이터가 될 수 있다고 엔비디아는 설명했다.

엔비디아는 이날 자체적인 AI 생태계를 강화한다는 내용도 발표했다. 세계 최대 머신 러닝 플랫폼 허깅페이스에 GPU 클라우드를 제공해 전 세계 개발자들이 생성형 AI 슈퍼컴퓨팅에 연결할 수 있도록 지원할 예정이다.