따라오지 마…엔비디아, 속도 2배 끌어올린 AI 칩 내놨다

H100 업그레이드한 H200 공개
SK하이닉스의 HBM3E 첫 탑재

인공지능(AI) 반도체 선도 업체인 미국 엔비디아가 기존 모델보다 데이터 처리 성능이 2배가량 향상된 최신 AI 칩을 내년 2분기에 내놓는다. 여기에는 SK하이닉스 등이 개발한 최신 고대역폭메모리 반도체인 ‘HBM3E’가 처음 탑재돼 처리 속도를 대폭 끌어올렸다.

엔비디아는 13일(현지시간) 그래픽처리장치(GPU) ‘H200’(사진)을 공개했다. 기존 모델 ‘H100’을 업그레이드한 버전이다. H100은 챗GPT를 개발한 오픈AI의 최신 거대언어모델(LLM)인 ‘GPT-4’를 훈련하는 데 사용된 엔비디아의 주력 AI 반도체다.

엔비디아 GPU는 막대한 양의 이미지·텍스트를 동시 연산하는 데 특화돼 있다. 특히 생성형 AI를 훈련하는 ‘학습’ 영역에서는 엔비디아 제품의 대체재가 없다시피 하다. 현재 H100 칩 1개당 가격은 2만5000~4만달러로 비싼 편인데도 생성형 AI 열풍으로 극심한 품귀 현상을 빚고 있다. H200은 내년 2분기 공식 출시할 예정이다. 가격은 아직 알려지지 않았다.

엔비디아는 “H200의 텍스트·이미지 등 생성 능력과 속도가 기존 H100보다 약 60~90% 높아졌다”고 밝혔다. H200을 활용해 메타의 LLM 라마(Llama)2를 훈련한 결과, 추론 성능은 2배가량 향상됐다고 설명했다.

핵심 비결은 최신 5세대 HBM3E다. 엔비디아는 “H200은 HBM3E를 탑재한 최초의 GPU”라고 소개했다. HBM은 여러 개 D램을 수직으로 연결한 제품이다. 데이터가 다니는 통로가 넓어진 만큼 속도도 빨라진다. 4세대 ‘HBM3’을 사용한 기존 H100의 메모리는 80GB(기가바이트)였는데, 5세대 HBM3E를 탑재한 H200은 141GB 메모리를 제공한다.

HBM3E의 주요 공급사로는 SK하이닉스가 유력하다. SK하이닉스는 지난 8월부터 엔비디아에 샘플을 보내 성능 검증을 해왔다. SK하이닉스가 4세대 HBM3까지는 주요 고객사에 단독으로 납품하며 HBM 시장을 독점해왔다. 그러나 5세대 HBM3E부터는 경쟁 구도가 펼쳐질 가능성이 높다. 그동안 관망해오던 미국 마이크론이 4세대를 건너뛰고 HBM3E부터 개발에 돌입했으며 엔비디아에도 샘플을 보내 테스트를 진행한 것으로 알려졌다.

메모리 최강자이지만 HBM에선 후발인 삼성전자의 행보도 관심을 끈다. 지난달 자체 HBM3E 브랜드 ‘샤인볼트’를 선보인 삼성전자는 엔비디아 등 주요 수요처 납품을 뚫을 가능성이 작지 않은 것으로 알려졌다.

AI 업계에서 GPU 속도는 곧 비용과 연결된다. 전기료, 서버 운영비 등이 막대하기 때문이다. 챗GPT 서버 비용으로만 하루에 70만달러(약 9억원)가 소요되는 것으로 알려졌다. 엔비디아는 H200이 H100 대비 AI 기업의 총소유비용(장비가 수명이 다할 때까지 발생하는 모든 직간접 비용)과 에너지 사용량을 절반 수준으로 줄여줄 것이라고 밝혔다.

김상범 기자 ksb1231@kyunghyang.com