'난세 영웅' 메모리 대전..HBM은 결국 밀려날까? [AI칩 인사이드]
HBF·HBC까지 신기술 잇따라…HBM 보완·대체 시도
'아이폰 가격이 300만원을 넘길 것'이란 예측은 D램 쇼티지의 부메랑을 실생활에서 체감할 정도로 수급 불균형이 심화됐다는 신호다. 만성적인 D램 공급부족과 천정부지로 치솟은 가격 때문에 버틸 재간이 없는 거대 IT 기업들은 D램 재활용부터 낸드의 D램화까지 갖가지 고육책을 쏟아내고 있다. 이 혼란의 근간인 고대역폭메모리(HBM)가 필요없는 차세대 첨단 메모리도 등장했다. 이런 기술의 진보는 HBM 위주로 재편돼 있는 메모리 시장 변화를 예측할 가늠자가 되고 있다. 그렇다면 HBM은 AI 가속기 셋업에서 결국 밀려나게 될까?
최근 메타가 발표한 AI 서버 운영 정책을 둘러싼 일련의 변화는 반도체 업계에 적잖은 파동을 일으켰다. 하나는 남는 컴퓨팅 자원의 외부 판매 선언이다. 그래픽처리장치(GPU)를 비롯한 AI 반도체 수요가 충분하지 않은 것 아니냐는 우려를 낳았지만, 자체 AI 모델 부진에 따른 수익 다각화 전략으로 업계 의견이 수렴되며 불안이 진정되는 분위기다. 또 다른 변화는 D램 재활용 칩 개발이다. 구형 서버에서 쓰던 DDR4를 신형 AI 서버에 보조 메모리처럼 활용하는 자체 '비스타라' 칩을 공개했다. 차세대 메모리 중 하나로 꼽히는 CXL을 실제 데이터센터에서 구현한 것이라 주목할 만하다.
비스타라 칩은 통상 메모리 수명이 최대 14년으로 서버보다 2배 길다는 점에 착안해 개발됐다. DDR5 가격이 크게 오른 상황에서 구형 DDR4를 폐기하지 않고 신형 서버에서 재활용하면 추론에 필요한 추가 용량을 확보하는 동시에 비용 절감 효과를 얻을 수 있다는 복안이다. 여기에 CXL을 접목해 데이터를 주고받는 과정에서 생기는 발열을 잡을 수 있다. GPU와 HBM에서 데이터가 이동하는 데만 전력의 60~70%가 소모된다. CXL은 CPU와 메모리, 가속기 장치를 하나의 규격으로 연결하는 지휘자 역할을 맡아 연산속도 정체를 해결할 수 있다.
메모리 낭비를 해결할 신기술이 삼성전자와 SK하이닉스 등 주력 반도체 제조사에 미칠 영향은 복합적이다. DDR5로 세대교체가 늦어져 판매 증가속도가 둔화할 수 있다는 점과 CXL 기반 메모리 시장 확대란 새 기회가 서로 맞물려 있다. CXL은 메모리 용량의 유연한 확장이 가능해 신규 수요를 창출할 수 있을 것으로 관측된다. 벌써 AI 데이터센터를 중심으로 CXL 기술 수요가 늘고 있는 추세다. 시장조사업체 욜에 따르면 올해 CXL 시장은 21억달러에서 2028년 160억달러 규모로 커질 전망이다.
한 반도체 업계 관계자는 "데이터센터 운영사인 구글과 아마존 등 일부 빅테크가 국내 CXL 스위치 칩을 일부 구매해 테스트를 진행 중"이라며 "대규모 도입은 아니지만 상용화가 얼마 남지 않은 것으로 보인다"고 했다.
D램 재활용 방안이 나올 만큼 지난해부터 메모리 가격은 가파른 상승세를 보이고 있다. 올 1분기 범용 D램 가격은 전분기 보다 최대 95%, 낸드플래시는 최대 60% 상승했다. 3분기에도 D램은 최대 18%, 낸드는 15% 추가 상승 여력이 남아 있다. 애플은 최근 주력제품 판매가격을 올리면서 '메모리값 급등'을 이유로 꼽기도 했다. AI 인프라 투자가 확산하면서 메모리 제조사들이 고부가가치 D램인 HBM 생산에 집중했고, 범용 D램이 공급 부족을 겪으면서 가격 협상에서 우위를 점한 상태다.
새 메모리 기술의 등장을 '제2 HBM'과 연결짓는 시각도 있다. AI 핵심 메모리로 자리잡은 HBM 성장으로 수익을 극대화한 메모리 제조사의 사업전략에도 큰 변화를 가져올 수 있는 만큼 투자자들이 주목하는 지점이다. 다만 업계에서는 CXL 기반 메모리가 HBM을 대체한다기 보다 쓰임이 다르다는 해석이 더 알맞다고 본다. HBM은 즉각적으로 필요한 데이터를 속도감 있게 공급하고, CXL은 자주 쓰이지 않는 용량을 조정하는 용도로 적합하다는 것이다. 결국 더 중요한 건 필요한 메모리를 예측해 선별해내는 소프트웨어 기술에 달렸다는 분석도 나온다.
AMD가 지난달 메모리 최적화 소프트웨어 업체인 MEXT를 인수한 것도 이런 맥락과 닿아 있다. MEXT의 핵심 자산인 예측 메모리 기술은 낸드플래시를 D램처럼 활용할 수 있도록 설계됐다. 메타의 CXL D램 구조와 같은 원리로 자주 쓰이지 않는 데이터는 잠시 낸드에 뒀다가 필요해질 시점에 D램으로 옮기는 식이다. D램보다 훨씬 저렴한 낸드를 이용해 의존도 분산과 비용 절감을 이끌면서 데이터 이동 병목까지 해소하려는 시도로 풀이된다.
낸드를 활용해 HBM 의존도 심화를 탈피하려는 움직임은 샌디스크의 HBF 특허 전략을 통해서도 구체화되고 있다. HBM이 D램을 쌓아올렸다면, HBF는 낸드플래시를 적층한 차세대 메모리다. 낸드는 전원이 꺼져도 데이터가 휘발되지 않고 보존되는 특성이 있다. 비용 경쟁력과 검증된 기술인 낸드를 통해 데이터 유지를 위해 끊임없이 전력을 써야 하는 HBM의 맹점을 해결하겠단 전략이다. 전력이 곧 비용인 AI 추론 시대에 낸드가 해결사로 부상한 셈이다. 하지만 이 역시 HBF가 HBM을 완전히 대체할 수 없고 역할을 분담하는 그림에 가깝다는 해석이 나온다.
HBM과 HBF가 공존하는 시뮬레이션은 진행 중이다. SK하이닉스는 엔비디아 GPU 모델인 그레이스블랙웰 옆에 HBM 8개와 HBF 8개를 붙인 하이브리드 구조를 테스트해 HBM만 썼을 때보다 전력 대비 연산 성능이 최대 2.69배 개선된 결과를 발표했다.
다만 과제도 있다. 낸드는 저장용량은 크지만 쓰기(Write) 성능이 약하고 발열과 함께 조금씩 마모되는 메모리여서 오류율이 커진다는 한계가 있다. HBM과 SSD 공백을 메우려면 대역폭 뿐 아니라 낸드 수명과 열, 오류를 해결해야 한다. 올 하반기 나올 샌디스크의 첫 샘플이 시험대다. 초당 1.6테라바이트 속도가 실물에서 유지되는지, GPU와 클라우드 제조사가 실제 채택하는지 여부 등에 따라 HBF 미래를 정할 전망이다.
신창환 고려대 전기전자공학부 교수는 "HBF는 속도는 HBM 대비 절반 정도지만 용량은 10배 이상, 가격은 절반 이하로 관리 가능하다는 장점이 있다"며 "AI 가속기 범주 안에서 HBM과 HBF, CXL 등 메모리 생태계 전반이 커진다고 보는 시각이 합리적"이라고 했다.
일각에서는 HBM과 공존을 택하기 보다 과감한 대체 시도도 잇따른다. 미국 퀄컴은 AI 가속기 위에 저전력 D램(LPDDR)을 수직으로 쌓는 고대역폭컴퓨트(HBC) 설계를 공개했다. 메모리를 바로 프로세서 위에 올려 물리적 이동에 따른 전력소모와 연산지연을 줄이고 대역폭은 늘리는 기술이다. 삼성전자가 D램 안에 계산기를 심는 구조로 개발중인 PIM 반도체와 유사하다. 퀄컴에 따르면 HBC는 HBM과 비교해 와트당 대역폭이 6배 높다. 다만 HBM, DDR5 대비 LPDDR은 열에 더 취약한 편이다.
칩 구매처인 테크 기업들은 공급 다각화 측면에서 호응하는 분위기다. 마이크로소프트(MS)는 퀄컴의 실물 출시가 2028년 이후 예정돼 있는 상황인데도 선제적으로 자사 클라우드에 HBC를 도입하기로 했다. 이밖에 메타는 퀄컴이 개발한 서버용 CPU를 차세대 서버에 활용한다. 굵직한 고객사를 확보한 채로 서버 시장에 첫발을 내딛은 것으로 업계에 미칠 영향력이 적지 않다는 의미다. 국내 메모리 제조사들에 어떤 영향을 미칠지는 아직 불투명하다. 삼성전자가 저전력 D램 공급사로 거론되지만 아직 공급처가 공개되지 않은 상태다.
김이슬 머니투데이방송 MTN 기자