‘속도 2배’ AI칩 공개…엔비디아의 독주 거칠 것 없다

고대역폭메모리 반도체 ‘HBM3E’ 첫 탑재
내년 2분기 시판…“AI 훈련 시간 줄여줄 것”

엔비디아 H200. 엔비디아 제공

인공지능(AI) 반도체 선도업체인 미국 엔비디아가 기존 모델보다 데이터 처리 성능이 2배가량 향상된 최신 AI 칩을 내년 2분기에 내놓는다. 여기에는 SK하이닉스 등이 개발한 최신 고대역폭메모리 반도체인 ‘HBM3E’가 처음 탑재돼 처리 속도를 대폭 끌어올렸다. 챗GPT 같은 생성형 AI를 훈련시키는 데 들어가는 비용과 시간을 비약적으로 줄여 줄 것으로 기대된다.

엔비디아는 13일(현지시간) 그래픽처리장치(GPU) ‘H200’을 공개했다. 기존 모델 ‘H100’을 업그레이드한 버전이다. H100은 챗GPT를 개발한 오픈AI의 최신 거대언어모델(LLM)인 ‘GPT-4’를 훈련하는 데 사용된, 엔비디아의 주력 AI 반도체다.

엔비디아 GPU는 막대한 양의 이미지·텍스트를 동시 연산하는 데 특화돼 있다. 특히 생성형 AI를 훈련시키는 ‘학습’ 영역에서는 엔비디아 제품의 대체재가 없다시피 하다.

현재 H100 칩 1개당 가격은 2만5000달러~4만 달러로 비싼 편인데도 생성형 AI 열풍으로 인해 극심한 품귀 현상을 빚고 있다. H200은 내년 2분기 공식 출시 예정이다. 가격은 아직 알려지지 않았다.

엔비디아는 “H200의 텍스트·이미지 등 생성 능력과 속도가 기존 H100보다 약 60~90% 높아졌다”고 밝혔다. H200을 활용해 메타의 거대언어모델 라마(Llama)2를 훈련한 결과, 추론 성능은 2배가량 향상됐다고 설명했다.

핵심 비결은 최신 5세대 ‘HBM3E’다. 엔비디아는 “H200은 HBM3E를 탑재한 최초의 GPU”라고 설명했다. HBM은 여러 개의 D램을 수직으로 연결한 제품이다. 데이터가 다니는 통로가 넓어진 만큼 속도도 빨라진다. 4세대 ‘HBM3’을 사용한 기존 H100의 메모리는 80기가바이트(GB)였는데, 5세대 HBM3E를 탑재한 H200은 141GB의 메모리를 제공한다.

HBM3E의 주요 공급사로는 SK하이닉스가 유력하다. SK하이닉스는 지난 8월부터 엔비디아에 샘플을 보내 성능 검증을 해왔다. SK하이닉스가 4세대(HBM3)까지는 주요 고객사에 단독으로 납품하며 HBM 시장을 독점해 왔다. 그러나, 5세대 HBM3E부터는 경쟁 구도가 펼쳐질 가능성이 높다.

그동안 관망해오던 미국 마이크론이 4세대를 건너뛰고 HBM3E부터 개발에 돌입했으며 엔비디아에도 샘플을 보내 테스트를 진행한 것으로 알려졌다.

메모리 최강자이지만 HBM에선 후발인 삼성전자의 행보도 관심을 끈다. 지난달 자체 HBM3E 브랜드 ‘샤인볼트’를 선보인 삼성전자는 엔비디아 등 주요 수요처 납품을 뚫을 가능성이 적지 않은 것으로 알려졌다.

삼성전자는 지난달 31일 실적발표 컨퍼런스콜에서 “HBM3E는 업계 최고 수준의 성능인 초당 9.8Gb(기가비트)로 개발해 24GB 8단 적층 제품에 대한 샘플 공급을 이미 시작했고, 내년 상반기 내 양산 개시 예정”이라며 “36GB 12단 경우도 내년 1분기 샘플 공급을 준비 중”이라고 밝혔다.

AI 업계에서 GPU의 속도는 곧 비용과 연결된다. 전기료, 서버 운영비 등이 막대하기 때문이다. 챗GPT 서버 비용으로만 하루에 70만 달러(약 9억원)가 소요되는 것으로 알려졌다. 엔비디아는 H200이 H100 대비 AI 기업의 총소유비용(장비의 수명 동안 발생하는 모든 직·간접 비용)과 에너지 사용량을 절반 수준으로 줄여줄 것이라고 밝혔다.

엔비디아는 내년 2분기 중 아마존웹서비스(AWS), 마이크로소프트(MS) 애저, 알파벳 구글클라우드 등 클라우드 서비스 업체들과 함께 H200 반도체를 장착한 AI 서비스를 개시할 수 있을 것이라고 전망했다.

H200은 미 반도체 기업 AMD의 ‘MI300X’과 경쟁 구도를 형성할 것으로 예상된다. AMD는 H100을 표적 삼아 올해 중 AI용 GPU MI300X를 내놓겠다는 계획이다. 반도체 업계 관계자는 “엔비디아뿐만 아니라, 올해 AMD도 최신 AI칩을 내놓는 등 AI 반도체에서도 기술 경쟁이 격화되면서 HBM 같은 차세대 메모리 시장이 함께 성장하는 계기가 될 것으로 보인다”고 말했다.

한편 엔비디아는 지난달 미 상무부가 저성능 AI 반도체의 중국 수출을 막자 이에 대응하기 위해 기존에 수출하던 H800보다 성능을 더 낮춘 반도체 3종을 조만간 공개할 예정이다.

김상범 기자 ksb1231@kyunghyang.com