엔비디아, 추론 특화 루빈 CPX 공개.. HBM대신 GDDR7 탑재

엔비디아가 9일 공개한 추론특화 GPU인 CPX의 모습. <엔비디아>

엔비디아가 AI코딩과 비디오 생성과 같은 추론에 특화된 새로운 GPU 제품을 공개했다. 기존의 베라루빈 플랫폼에 추가로 적용되는 형태로 HBM이 아닌 GDDR7이 탑재된다.

엔비디아는 9일(현지시간) 미국 산타클라라에서 개최된 ‘AI 인프라 써밋’에서 새로운 GPU인 엔비디아 루빈 CPX를 공개했다. 이는 처리할때마다 수백만개의 토큰이 사용되는 AI 코딩과 생성형 비디오에 특화된 제품이다.

CPX는 내년에 공개될 베라루빈 NVL144 플랫폼(서버)에서 베라CPU 및 루빈 GPU와 함께 연동되는 제품으로, 8엑사플롭스의 AI 컴퓨팅 성능을 제공해 전 세대인 GB300 NVL72 시스템보다 7.5배 향상된 AI 성능을 제공한다. 단일 랙에 100TB의 고속 메모리와 초당 1.7페타바이트의 메모리 대역폭을 제공한다.

기존 베라 루빈 NVL144 시스템을 재사용하려는 고객을 위해 전용 루빈 CPX 컴퓨팅 트레이도 제공한다. 엔비디아에 따르면 CPX에는 128GB 용량의 GDDR7 메모리가 사용된다.

현재 엔비디아의 주력 제품은 GB(그레이스 블랙웰) 플랫폼으로 차세대인 베라루빈 플랫폼이 내년 말 출시 예정이다. CPX도 베라루빈 플랫폼의 일부로 내년 하반기에 출시될 예정이다.

엔비디아는 통상 3월 실리콘밸리에서 열리는 GTC와 5월 대만에서 열리는 컴퓨텍스, 11월에 열리는 SC(슈퍼컴퓨팅)에서 주력 신제품을 많이 공개했다. 하지만 올해에는 9월에 제품을 공개한 것은 현재 AI 추론시장에서 AI코딩과 비디오 생성에 가장 많은 수요가 발생하고 있기 때문으로 추정된다.

‘커서’나 ‘클로드 코드’ 등이 대표적인 AI코딩 서비스로 이 서비스들은 토큰 사용량이 많은 것이 특징이다. AI 비디오 생성은 AI를 사용해 동영상을 만들거나 편집하는 것으로 구글의 ‘비오3’ 오픈AI의 ‘소라’ 런웨이ML의 ‘런웨이’ 등이 대표적이다.

이에 따라 AI를 학습시키는 용도가 아니라 서비스를 제공하는 추론에만 쓰이는 별도의 AI가속기를 만들려는 경쟁자들이 계속 등장하고 있었다. 엔비디아는 이런 수요에 대응하기 위한 목적으로 CPX를 내놓은 것이다. 처리해야하는 토큰량이 많은 추론은 별도로 CPX에서 처리하는 방식이다.

CPX는 기존의 엔비디아 GPU와 CPU가 탑재된 서버에 추가로 탑재될 수 있기 때문에 엔비디아는 이를 통해 추가 매출을 기대할 수 있다.

CPX는 서버용 GDDR7 수요를 확대할 수 있을 것으로 예상된다. HBM에 집중된 SK하이닉스보다는 삼성전자가 수혜를 볼 것으로 보인다.

젠슨 황 엔비디아 CEO는 “베라 루빈 플랫폼은 차세대 루빈 GPU와 CPX라는 새로운 프로세서를 모두 선보이며 AI 컴퓨팅의 지평을 열 또 다른 도약을 이룰 것”이라면서 “RTX가 그래픽과 물리 AI에 혁명을 일으켰듯이, 루빈 CPX는 모델이 수백만 개의 지식 토큰을 동시에 추론하는 대규모 컨텍스트 AI를 위해 특별히 설계된 최초의 CUDA GPU이다”라고 밝혔다.

[이덕주 기자]