엔비디아, 5세대 HBM 첫 탑재 'H200' 공개

엔비디아 차세대 AI반도체 'H200'. 엔비디아 제공

엔비디아가 신형 인공지능(AI) 특화 반도체인 'H200'을 공개했다.

신제품은 5세대 고대역폭메모리(HBM3E)를 첫 탑재했다. HBM3E를 통해 초당 4.8테라바이트(TB) 속도로 141기가바이트(GB) 메모리를 제공한다.

초당 3.35TB 속도인 H100 대비 출력 속도가 2배 가까이 빨라졌으며 용량과 대역폭(밴드위스)도 2배 이상 증가했다고 엔비디아는 설명했다. 1750억개 이상 파라미터가 포함된 차세대 거대언어모델(LLM) 기반 AI 훈련·추론 과정에서 최고 성능을 구현한다.

고대역폭메모리(HBM)는 여러 개의 D램을 수직으로 쌓아 데이터 처리 속도를 향상한 최선단 메모리 반도체다. 텍스트·이미지 생성을 위해 훈련된 LLM 성능 강화에도 도움이 된다. SK하이닉스·삼성전자 등이 엔비디아에 HBM을 공급하는 것으로 알려졌다.

H200은 H100과 호환이 가능, 이미 H100을 사용 중인 기업들은 기존 서버 시스템이나 소프트웨어를 바꿀 필요가 없다는 것도 강점이다. H200은 H100과 동일하게 엔비디아의 가속 컴퓨팅 플랫폼 호퍼 아키텍처를 기반으로 개발됐다.

이안 벅 엔비디아 부사장은 “생성형 AI와 고성능 컴퓨팅(HPC) 애플리케이션으로 인텔리전스 생성을 위해서는 대규모의 고속 GPU 메모리로 방대한 양의 데이터를 빠르고 효율적으로 처리해야 한다”고 말했다. 메타의 LLM 라마2를 엔비디아 H200을 활용해 훈련한 결과, 추론 성능이 두 배 정도 강화된 것으로 나타났다.

엔비디아 H200은 AMD 최신 AI반도체 MI300X와 경쟁할 것으로 예상된다. AMD는 엔비디아 H100 대비 메모리 트랜지스터 밀도는 2.4배, 밴드위스(대역폭)는 1.6배 이상 늘린 MI300X를 연말 출시할 예정이다.

박종진 기자 truth@etnews.com