삼성 “HBM, 저장 넘어 연산까지 한다”…차세대 메모리 혁명 선언 [핫칩스 2026]

HBM 진화 3단계 로드맵 제시
AI 연산하는 ‘메모리 대전환’ 선언
GPU 메모리 컨트롤러 HBM으로 이전

삼성전자 메모리사업부 DRAM설계팀 한상욱 테크니컬리더(TL)이 23일(현지시간) 미국 스탠퍼드대에서 열린 반도체 학회 ‘핫칩스 2026’에서 발표하고 있다. [사진=원호섭 특파원]

삼성전자가 AI 시대 고대역폭메모리(HBM)를 단순 데이터를 저장하는 메모리가 아닌 ‘AI 시스템 반도체’로 진화시키겠다는 청사진을 공개했다. GPU의 메모리 제어 기능은 물론 일부 AI 연산까지 HBM이 맡도록 구조를 바꾸고, 장기적으로는 GPU와 메모리를 하나처럼 직접 적층하는 새로운 구조도 제시했다.

23일(현지시간) 미국 스탠퍼드대에서 열린 반도체 학회 ‘핫칩스 2026’에서 발표자로 나선 삼성전자 메모리사업부 DRAM설계팀 한상욱 테크니컬리더(TL)는 “HBM 베이스다이를 첨단 로직 공정으로 만들면 왜 시스템온칩(SoC)처럼 활용하지 않느냐는 질문에서 이번 연구가 시작됐다”며 “기존 HBM이 데이터 전달만 담당했다면 앞으로는 훨씬 다양한 기능을 수행하는 맞춤형 HBM으로 발전할 것”이라고 말했다.

한 TL은 특히 AI 반도체의 병목이 더 이상 연산 능력만이 아니라 메모리 구조에 있다고 진단했다. 그는 “반도체 업계는 단일 칩 크기의 물리적 한계와 인터포저 크기 한계에 부딪히고 있다”며 “해법은 이미 GPU 주변에 배치된 HBM 베이스다이를 적극 활용하는 것”이라고 설명했다.

가장 먼저 제시한 방안은 GPU 안에 있는 메모리 컨트롤러를 HBM으로 옮기는 것이다. 한 TL은 “메모리 컨트롤러는 SoC 면적의 약 5~10%를 차지한다”며 “이를 HBM으로 이전하면 확보한 공간을 연산 코어로 채워 10~20% 수준의 성능 향상도 기대할 수 있다”고 말했다. 이어 그는 “현재 삼성의 대부분 고객들이 메모리 컨트롤러를 커스텀 HBM으로 옮기는 작업을 적극 추진하고 있다”고 밝혔다.

삼성은 여기서 한발 더 나아가 HBM이 일부 AI 연산까지 수행하는 구조도 제안했다. 한 TL은 “HBM 베이스다이에 무거운 연산을 넣는 것은 발열 때문에 어렵다”면서도 “메모리 접근이 많은 연산을 선택적으로 HBM으로 이전하면 데이터 이동이 크게 줄어 시스템 전력 효율을 획기적으로 높일 수 있다”고 설명했다. 그는 이런 구조를 ‘aHBM(Advanced HBM)’이라고 소개했다.

AI 모델이 커질수록 메모리 용량도 함께 늘어나야 한다는 점도 강조했다. 그는 “차세대 AI 아키텍처는 대역폭뿐 아니라 메모리 용량을 동시에 요구한다”며 “HBM 베이스다이에서 LPDDR이나 추가 HBM을 직접 연결하는 구조를 통해 기존 PCIe 방식보다 더 높은 대역폭과 낮은 지연시간을 제공할 수 있다”고 말했다.

삼성은 마지막 단계로 GPU와 HBM을 직접 수직으로 쌓는 ‘zHBM’ 비전도 공개했다. 한 TL은 “AI 산업은 메모리와 컴퓨팅을 더욱 긴밀하게 결합하는 방향으로 빠르게 움직이고 있다”며 “궁극적인 목표는 2.5D 인터포저를 없애고 GPU와 DRAM을 직접 수직 연결하는 것”이라고 말했다. 그는 “이 구조가 구현되면 HBM5와 비교해 DRAM 전력을 약 70% 줄일 수 있다”고 말했다. 대역폭 역시 직전 세대(HBM4E) 대비 2.3배로 높아진다는 게 삼성의 설명이다. [실리콘밸리 원호섭 특파원]