"엔비디아, 루빈 울트라 HBM 12단→8단"…삼성·SK에도 변수[IT썰]

기사 관련 이미지/사진=챗GPT 생성

엔비디아가 차세대 AI(인공지능) 가속기 '루빈 울트라'에 들어가는 HBM(고대역폭메모리)을 기존 12단에서 8단으로 낮춘 것으로 알려졌다. HBM 가격이 오르는 가운데 필요한 대역폭은 유지하면서 HBM 탑재 비용을 조절하기 위한 선택으로 성능과 용량, 비용 사이에서 현실적인 절충점을 찾은 것으로 풀이된다.

7일 반도체 전문 분석업체 세미애널리시스는 엔비디아가 루빈 울트라의 HBM 사양을 12단에서 8단으로 낮췄다고 분석했다. 핵심은 '용량당 비용'보다 '대역폭당 비용'에 있다는 것이다. 대역폭은 메모리와 GPU(그래픽처리장치) 사이에서 일정 시간에 얼마나 많은 데이터를 주고받을 수 있는지를 뜻한다. 도로가 넓을수록 한꺼번에 많은 차량이 이동할 수 있듯 대역폭이 클수록 같은 시간에 더 많은 데이터를 전달할 수 있다.

HBM의 용량과 대역폭이 결정되는 방식을 보면 엔비디아의 선택을 이해하기 쉽다. 단순화하면 HBM 용량은 '스택 수×스택당 D램 수×D램 하나의 용량'으로 결정된다. 여기서 스택은 D램을 수직으로 쌓아 만든 하나의 묶음이다. 12단에서 8단으로 낮추면 '스택당 D램 수'가 12개에서 8개로 줄기 때문에 같은 조건에서 전체 용량도 3분의 1 감소한다.

반면 대역폭은 '스택 수×데이터 통로의 폭×통로의 전송 속도'에 따라 결정된다. 이 계산에는 '스택당 D램 수'가 들어가지 않는다. 즉 D램을 12단에서 8단으로 낮춰도 스택 수와 데이터 통로의 폭, 전송 속도가 같다면 대역폭은 그대로 유지할 수 있다.

이를 단순화해 12단 HBM의 용량을 12, 대역폭을 100이라고 가정하면 용량 1당 대역폭은 약 8.3이다. 8단으로 낮춰 용량이 8로 줄더라도 대역폭이 100으로 유지되면 용량 1당 대역폭은 12.5로 높아진다. 기존보다 50% 증가하는 셈이다. HBM 가격이 오르는 상황에서 더 적은 D램으로 필요한 대역폭을 확보해 대역폭당 비용 효율을 높일 수 있다는 게 세미애널리시스의 분석이다.

다만 용량과 대역폭은 서로 다른 성능 지표로 어느 하나가 다른 하나를 대신할 수 있는 것은 아니다. HBM 용량이 부족하면 필요한 데이터를 충분히 담지 못해 상대적으로 느린 메모리나 스토리지에서 데이터를 다시 불러와야 한다. 이 과정에서 지연이 발생하면 높은 대역폭의 장점도 충분히 활용하기 어렵다.

AI 추론에서는 대역폭이 특히 중요하다. AI가 답변을 만들 때 토큰을 하나씩 생성할 때마다 모델의 가중치와 이전 연산 정보를 저장해둔 'KV 캐시(Key-Value Cache)'를 메모리에서 반복해서 읽어야 하기 때문이다. GPU가 빨라도 메모리가 데이터를 제때 보내지 못하면 추론 속도가 떨어질 수 있다.

이 같은 변화는 HBM을 공급하는 삼성전자와 SK하이닉스에도 변수다. AI 가속기 업체들이 같은 비용으로 확보할 수 있는 대역폭을 중시한다면 적층 단수와 용량뿐 아니라 '대역폭당 비용 효율'도 차세대 HBM 경쟁의 주요 기준으로 떠오를 가능성이 있다.

구자윤 기자 jykoo@mt.co.kr
[내 주식이 궁금할땐 머니투데이]