D램·파운드리·패키징 다 갖춘 삼성 …'AI칩 병목' 돌파구 찾았다

HBM5 8배 성능 zHBM 공개
HBM·GPU 물리적 결합 통해
데이터 처리 속도 크게 높여
AI 메모리 종합솔루션 제시
업계 최초 400단 V낸드 발표
수직적층 통해 집적도 향상

Gemini

"삼성이 돌아왔습니다(Samsung is back)."

4일(현지시간) 미국 캘리포니아주 샌타클래라에서 열린 세계 최대 메모리·스토리지 콘퍼런스 'FMS 2026'. 김경륜 삼성전자 D램개발실 상무는 기조연설을 이 한마디로 시작했다. 단순한 인사말이 아니었다. 이날 삼성전자가 공개한 차세대 메모리 'zHBM'은 새로운 HBM 제품을 소개하는 자리가 아니라 인공지능(AI) 시대 반도체의 설계 방식이 달라지고 있음을 선언하는 무대였다. 지금까지 메모리 경쟁은 더 빠르고 더 큰 D램을 만드는 싸움이었다. 그러나 AI 시대에는 그 공식이 깨지고 있다. 메모리 자체보다 그래픽처리장치(GPU)와 메모리를 얼마나 효율적으로 연결하고 함께 설계하느냐가 성능을 좌우하기 시작했기 때문이다. 삼성이 이날 반복해서 강조한 '3D'는 단순한 적층 기술이 아니라 AI 반도체의 문법이 바뀌고 있다는 의미였다.

◆ AI 시대의 병목은 메모리

삼성이 먼저 짚은 것은 AI 산업의 변화다. 생성형 AI는 질문에 답을 만드는 수준이었다. 하지만 에이전틱 AI는 스스로 계획을 세우고 필요한 정보를 찾은 뒤 결과를 검증하는 과정을 반복한다. AI가 스스로 생각하는 단계가 늘어나면서 처리해야 하는 토큰도 폭발적으로 증가한다. 김 상무는 "지난 2년 동안 AI 추론 토큰 사용량이 100배 이상 증가했다"고 설명했다. GPU 성능은 계속 향상되는데 메모리가 그 속도를 따라가지 못하면서 AI 업계에서 말하는 '메모리 월(Memory Wall)'이 커지고 있다는 것이다. 연산능력이 부족해서가 아니라 데이터를 충분히 빨리 공급하지 못해 GPU가 제 성능을 내지 못하는 상황이다.

삼성은 문제를 메모리 자체보다 GPU와 메모리 간 거리에서 찾았다. GPU는 AI 연산을 담당하고 HBM은 연산에 필요한 데이터를 초고속으로 공급하는 메모리다. 지금까지 AI 데이터센터용 반도체는 GPU 옆에 HBM을 여러 개 배치하는 구조를 사용했다. 데이터는 GPU와 HBM 사이를 계속 오가야 하고, 그 과정에서 시간이 걸리고 전력도 소모된다.

◆ 칩보다 중요한 것은 '연결'

이번 발표에서 가장 눈에 띄는 변화는 삼성이 D램 자체보다 패키징을 전면에 내세웠다는 점이다. zHBM의 핵심은 GPU와 메모리를 최대한 가까이 붙이는 것이다. 두 반도체를 웨이퍼 단계에서 정밀하게 접합해 데이터가 오가는 통로를 크게 늘리고 이동 거리를 줄였다. 그 결과 같은 시간에 더 많은 데이터를 처리하면서도 전력 소모를 줄일 수 있었다.

이 같은 접근은 낸드 플래시에도 이어졌다. AI 모델이 수천억~수조 개의 매개변수로 커지면서 모든 데이터를 값비싼 D램에 저장하기 어려워졌기 때문이다. 삼성은 업계 최초 400단 이상 V10 V낸드를 공개한 데 이어 AI 모델 가운데 자주 바뀌지 않는 데이터는 낸드에 저장하는 'zNAND-O'도 선보였다. 빠르게 처리해야 하는 데이터는 D램이 맡고, 대용량 AI 모델은 낸드가 담당하도록 역할을 나누는 새로운 메모리 구조다.

이번 발표의 더 큰 의미는 메모리 회사의 역할 변화다. 기존 D램은 규격만 맞추면 누구에게나 같은 제품을 공급하는 범용 부품이었다. 그러나 zHBM은 GPU 위에 직접 올라가는 만큼 GPU 구조에 맞춰 처음부터 함께 설계해야 한다. 메모리 회사가 제품을 만들어 공급하는 데서 끝나는 것이 아니라 고객의 AI 칩 개발 단계부터 참여해야 하는 시대가 된 것이다.

김 상무는 "프로세서마다 구조와 요구 사항이 모두 다르다"며 "zHBM은 고객 프로세서와 함께 최적화하는 제품이 될 것"이라고 말했다. 실제로 삼성은 지난해 말 프런티어 AI 모델을 개발하는 기업들에서 "모델이 너무 커져 D램만으로는 감당하기 어렵다"는 요구를 받았고 이를 계기로 관련 기술 개발을 본격화했다고 소개했다.

◆ 메모리 기업에서 AI 설계 회사로

이 때문에 삼성이 이날 가장 많이 언급한 키워드도 '수직통합'이었다. GPU와 메모리를 하나의 시스템처럼 구현하려면 메모리뿐 아니라 파운드리와 첨단 패키징이 유기적으로 맞물려야 한다. 설계와 생산, 패키징, 검증이 따로 움직여서는 최적의 성능을 내기 어렵기 때문이다. AI 시대에는 더 좋은 D램을 만드는 회사보다 GPU와 메모리, 파운드리, 패키징을 하나의 시스템처럼 설계할 수 있는 삼성전자 같은 회사가 경쟁력이 있다는 것이다.

그러나 이처럼 모든 것을 내부에서 직접 해내는 삼성전자가 기술적 우위는 가질 수 있어도 전략적 우위를 확보하기는 쉽지 않다는 의견이 나온다. 파운드리 시장 1위인 TSMC와 협력하고 있는 SK하이닉스나 마이크론이 유리한 부분이 있다는 것이다. 고객들이 TSMC 생태계를 벗어나려고 하지 않을 수도 있기 때문이다.

[실리콘밸리 원호섭 특파원 / 서울 이덕주 기자]