[단독] “HBM은 형편없다” 전 인텔 CEO 도발하자…SK하이닉스 임원 대답이

‘AI 황금알’ HBM 놓고 신경전
겔싱어, 레이즈서밋 2026서 지적
“D램 쌓으며 열샌드위치 만들어…
AI 잠재력 위해 새 메모리 개발을”
김호식 SK하닉 부사장 ‘일부 동의’
“현재로선 메모리 중 가장 좋아…
병목 완화 위해 다른 해법 연구중”

겔싱어 전 인텔 CEO(사진 아래 맨 오른쪽)가 지난달 8~9일(현지시간) 프랑스에서 열리 유럽 인공지능(AI) 콘퍼런스 ‘레이즈 서밋(RAISE Summit) 2026’의 패널 토론에서 이야기하고 있다. 김호식 SK하이닉스 부사장(사진 위 오른쪽)이 겔싱어 전 CEO의 질문에 답하고 있다. [엑스]

“HBM(고대역폭메모리)은 형편없는(lousy) 메모리다.”

인공지능(AI) 반도체 시장의 ‘황금알을 낳는 거위’로 불리는 HBM을 놓고 뜻밖의 혹평이 나왔다. 주인공은 팻 겔싱어 전 인텔 최고경영자(CEO)로, 그의 발언이 뒤늦게 알려지며 화제다. 더 주목을 끈 것은 세계 HBM 시장을 이끌고 있는 SK하이닉스 측 인사의 반응이다.

겔싱어 전 CEO의 이런 발언은 지난달 8~9일(현지시간) 프랑스 파리 중심부 카루젤 뒤 루브르에서 열리 유럽 인공지능(AI) 콘퍼런스 ‘레이즈 서밋 2026’의 한 패널 토론 과정에서 나왔다.

겔싱어 전 CEO는 이 자리에서 HBM의 구조적인 한계를 꼬집으며 ‘라우지(lousy·형편없는)’ 표현까지 썼다.

HBM은 여러 개의 D램을 수직으로 쌓아 GPU(그래픽처리장치) 옆에 배치하는 메모리다. 기존 D램보다 훨씬 많은 데이터를 한꺼번에 주고받을 수 있어 엔비디아의 인공지능(AI) 가속기 등에 핵심 부품으로 사용된다.

하지만 겔싱어 전 CEO는 “D램은 원래 쌓는 것을 좋아하지 않는다”며 HBM이 D램을 층층이 쌓으면서 이른바 ‘열 샌드위치(thermal sandwich)’를 만든다고 지적했다. 여러 층의 D램 사이에 열이 갇히면서 발열 문제가 발생한다는 얘기다.

그는 HBM이 GPU와 메모리를 연결하는 접촉면의 대역폭에 제한을 받고 일반 D램보다 비트 효율도 떨어진다고 했다.

겔싱어 전 CEO는 “HBM에서 1비트의 메모리를 만들기 위해 명목상 기존 메모리 4비트를 포기하게 되기 때문”이라며 “HBM은 비트 효율, 전력 효율, 대역폭 효율 모두 낮다”고 부연했다.

그는 “HBM은 좋은 메모리가 아니지만, 다만 현재 AI가 요구하는 단기적인 수요를 만족시킬 수 있는 가장 나은 선택일 뿐”이라며 “하지만 장기적으로 AI가 가져올 잠재력을 모두 실현하려면 우리는 훨씬 더 뛰어난 새로운 메모리 아키텍처를 개발해야 한다”고 했다.

AI가 당장 요구하는 엄청난 데이터 처리량을 감당하기 위해서는 HBM이 가장 현실적인 선택이지만, 장기적으로 AI의 잠재력을 실현하기 위해선 전혀 새로운 메모리 구조가 필요하다는 취지로 해석된다.

“HBM은 형편없는 메모리”…SK도 동의?

겔싱어 전 CEO의 질문에 김호식 SK하이닉스 부사장(오른쪽)이 그를 향해 시선을 맞추고 있다. [엑스}

그런데 이날 패널 토론에 참여한 SK하이닉스 임원의 발언이 이목을 끌며 토론자들과 청중들의 웃음을 자아내기도 했다.

겔싱어 전 CEO의 “HBM은 형편없는 메모리다”라는 지적에 김호식 SK하이닉스 부사장(메모리 시스템 리서치 담당)은 “HBM에 대해 말한 내용에 어느 정도 동의한다. HBM은 메모리 월 문제의 최종 해답은 아니다”라고 하자, 겔싱어 전 CEO는 웃으며 “SK하이닉스가 HBM이 나쁜 메모리라고 인정하는 것이냐”라고 되물었다.

그러자 김 부사장은 다시 정확한 워딩으로 “HBM이 나쁜 메모리라는 뜻은 아니다”라며 “현재 우리가 가진 메모리 가운데 가장 좋은 메모리”라고 했다. 이어 메모리 월은 AI 추론 시스템의 특성상 발생하는 본질적인 문제라며 “SK하이닉스도 메모리 월(병목)을 완화하기 위해 다른 해법들을 연구하고 있다”고 했다.

메모리 월은 AI 반도체의 연산 속도가 아무리 빨라져도 메모리가 데이터를 충분히 빠르게 공급하지 못하면서 전체 시스템 성능이 제한되는 현상을 말한다.

쉽게 말하면 GPU라는 공장이 아무리 빨리 제품을 만들 수 있어도 원재료를 실어 나르는 도로가 막혀 있으면 공장을 제대로 돌릴 수 없는 것과 같다.

HBM은 이 도로를 기존 2차선에서 16차선으로 넓힌 기술에 가깝다. 문제는 AI 모델이 갈수록 커지고 처리해야 할 데이터가 폭증하면서 16차선 도로마저 다시 막히기 시작했다는 점이다.

김 부사장 역시 HBM에는 발열과 입출력(I/O), 비용 등 여러 한계가 있다고 인정했다.

그러면서도 “현재로서는 메모리 월, 즉 메모리 병목 문제를 완화하기 위해 우리가 가진 것이 HBM”이라고 했다.

HBM 1위 SK하이닉스도 ‘HBM 다음’ 찾는다

이날 토론에서 차세대 메모리에 대한 언급도 주목을 끌었다. 김 부사장이 “우리는 메모리 월 문제를 해결하기 위해 다른 방향에서 다른 해법들을 연구하고 있다”고 언급한 대목이다. HBM 시장의 선두 업체인 SK하이닉스조차 이미 ‘HBM 다음’을 준비하고 있다는 의미로 읽힐 수 있기 때문이다.

AI 시대가 본격화하면서 반도체 업계에서는 메모리를 바라보는 관점 자체가 달라지고 있다.

과거 메모리 업체들의 경쟁은 ‘비트당 비용’을 얼마나 낮추느냐에 집중됐다. 같은 용량의 D램을 누가 더 싸고 많이 만들 수 있느냐가 경쟁력이었다.

AI 시대에는 상황이 달라졌다. GPU가 아무리 많은 연산 장치를 가지고 있어도 데이터를 제때 공급받지 못하면 연산 장치가 놀게 된다. 이 때문에 얼마나 적은 전력으로 많은 데이터를 이동시키느냐를 뜻하는 ‘와트당 대역폭’이 새로운 경쟁력으로 떠오르고 있다.

인텔·엔비디아도 참전…‘HBM 이후’ 메모리 전쟁

[SK하이닉스]

메모리 전문 업체뿐 아니라 인텔·엔비디아 같은 연산 반도체 기업들도 이제는 직접 새로운 메모리 구조를 고민하기 시작했다.

인텔은 차세대 메모리 구조로 알려진 ‘Z-앵글 메모리(ZAM)’와 ‘크로스배치 메모리(XBM)’ 등을 연구하고 있다. HBM의 구조적 한계를 다른 배치·연결 방식으로 풀어보려는 차세대 메모리 아키텍처다.

립부 탄 인텔 CEO도 최근 실적 발표에서 “메모리는 많은 AI 인프라의 병목이 됐다”며 연산과 메모리를 어떻게 더 긴밀하게 통합하고 적층할지, 메모리를 어떻게 더 효율적으로 활용할지 연구하고 있다고 밝혔다.

엔비디아 역시 GPU 내부의 초고속 메모리인 S램(RAM) 용량을 확대하는 방향으로 움직이고 있다.

이는 삼성전자와 SK하이닉스에도 중요한 변화다.

AI 시대의 메모리는 더 이상 독립된 부품 하나로 끝나지 않는다. GPU와 메모리, 패키징, 인터커넥트 등을 처음부터 함께 설계하는 ‘공동 설계’의 중요성이 커지고 있다.

과거에는 삼성전자와 SK하이닉스가 ‘어떤 메모리를 만들 것인가’를 결정한 뒤 고객에게 공급했다면, 앞으로는 엔비디아·AMD 등 AI 칩 설계 업체가 ‘우리 시스템에는 이런 메모리가 필요하다’고 먼저 요구하고 메모리 업체가 여기에 맞춰 제품을 공동 개발하는 방식이 더욱 확대될 가능성이 있다.

반도체 산업 분야 전문가인 박정임 케이프리덤자산운용 대표도 “결국 AI 시대의 경쟁은 누가 더 좋은 메모리를 만드는가가 아니라, 누가 시스템의 병목을 먼저 정의하고, 그에 맞는 메모리 구조를 설계하느냐로 이동하고 있다”고 흐름을 진단했다.

실제로 SK하이닉스도 ‘MaaS(Memory as a Service)’라는 개념을 제시하며 AI 시대의 새로운 메모리 솔루션을 모색하고 있다.

앞서 겔싱어 전 CEO의 “HBM은 형편없는 메모리”라는 발언과 김 부사장의 “HBM은 최종 답이 아니다”라는 말도 이같은 맥락의 연장선으로 풀이된다.