AI 시대 메모리의 새 공식…'더 가까이, 더 높게'

[테크따라잡기]
에이전틱 AI 시대…메모리도 구조 혁신 경쟁
삼성전자, zHBM·zNAND-O·V10 BV-NAND 공개
데이터 이동 줄인 차세대 '3D 메모리' 청사진

생성형 AI에게 "오늘 날씨 알려줘"라고 물으면 금세 답을 내놓습니다. 하지만 "3박 4일 일본 여행 일정을 짜주고 예산도 계산한 뒤 이동 동선까지 가장 효율적으로 정리해줘"라고 하면 이야기가 달라집니다. AI는 이전 대화를 기억하는 동시에 중간 계산 결과도 계속 저장해야 하는데요. 질문이 길어질수록 새롭게 생성하는 데이터뿐 아니라 이전 정보를 담아두는 메모리 공간도 함께 커집니다.

최근 AI는 질문에 답하는 생성형 AI를 넘어 스스로 계획을 세우고 추론하며 여러 단계를 거쳐 작업을 수행하는 '에이전틱 AI'로 빠르게 진화하고 있습니다. 처리해야 할 데이터도 그만큼 기하급수적으로 늘어났는데요. 이전 대화 내용과 중간 계산 결과를 저장해 다음 작업에 활용하는 'KV 캐시(KV Cache)'의 규모가 커지는 것도 같은 이유입니다.

시스템의 경쟁력도 달라지고 있습니다. 과거 프로세서의 연산 성능이 핵심이었다면 이젠 필요한 데이터를 얼마나 빠르고 안정적으로 공급할 수 있는지가 성능을 좌우합니다. 결국 메모리도 달라져야 합니다. 단순히 속도나 용량을 높이는 것만으로는 부족합니다. 메모리와 프로세서를 연결하는 구조부터 메모리 칩을 적층하는 방식, 데이터를 저장하는 셀 구조까지 아키텍처 전반을 다시 설계해야 하는 시대가 된 겁니다.

데이터를 더 빨리 꺼내려면

기존 HBM과 차세대 zHBM 구조 비교. 메모리를 AI 가속기 위에 직접 적층해 데이터 이동 거리를 줄이고 성능과 전력 효율을 높이는 것이 특징이다. /그래픽=삼성전자

삼성전자가 최근 FMS 2026에서 공개한 zHBM, zNAND-O, V10 BV-NAND도 이러한 변화에 대응하기 위한 차세대 메모리 기술입니다. 적용 분야는 서로 다르지만 공통된 방향은 하나입니다. 데이터를 더 가까이 두고 더 효율적으로 처리하는 겁니다.

AI 반도체 성능은 더 이상 연산 능력만으로 결정되지 않습니다. AI 모델이 커질수록 메모리와 AI 가속기 사이를 오가는 데이터도 급격히 늘어나기 때문이죠. 아무리 뛰어난 AI 가속기라도 필요한 데이터를 제때 받지 못하면 제 성능을 낼 수 없습니다. 

삼성전자가 공개한 zHBM은 이런 병목 현상을 줄이기 위해 나온 구조입니다. 기존 AI 가속기 옆에 HBM(고대역폭메모리)을 여러 개 배치했던 것과 달리 zHBM은 메모리를 AI 가속기 바로 위에 쌓습니다. 책상 옆 서랍에 자료를 넣어두던 것을 책상 위에 올려두는 것과 비슷합니다. 필요한 자료가 손 닿는 곳에 있을수록 일을 더 빨리 처리할 수 있는 원리입니다.

이를 위해 칩과 칩을 빈틈없이 연결하는 접합 기술도 적용했습니다. 대표적으로 하이브리드 구리 본딩과 멀티 웨이퍼 본딩 기술이 쓰였는데요. 데이터가 이동하는 거리를 줄여 신호 전달 속도는 높이고 발열은 줄이는 역할을 합니다.

삼성전자에 따르면, 해당 구조를 적용한 zHBM 기반 시스템은 차세대 HBM5보다 최대 8배 높은 성능을 구현할 수 있습니다. 전력 효율은 최대 3배 높아지고 열도 절반 이상 줄어 초거대 AI 모델의 학습과 추론에 적합하도록 설계됐죠.

또 메모리와 AI 가속기 사이에 고객이 원하는 기능을 추가할 수 있습니다. 메모리 용량을 늘리거나 AI 가속기의 성능을 높이는 등 용도에 맞춰 설계를 바꿀 수 있어 AI 프로세서와 메모리를 함께 최적화할 수 있죠.

삼성전자의 차세대 낸드 솔루션 'zNAND-O'. 여러 개의 V낸드 칩을 수직으로 적층해 데이터 전송 경로를 줄이고 성능과 전력 효율을 높였다. /그래픽=삼성전자

AI 활용 방식도 달라지고 있습니다. 최근에는 스마트폰이나 PC 안에서 AI를 직접 실행하는 '온디바이스 AI'가 빠르게 확산되고 있는데요. 이 환경에서는 작은 공간에서도 높은 성능과 전력 효율을 구현할 수 있는 저장장치가 필요합니다. 

삼성전자의 zNAND-O는 여러 개의 V낸드 칩을 수직으로 연결하는 3차원 구조를 적용, 저장 용량과 데이터 처리 속도를 함께 높였습니다. AI 데이터센터뿐 아니라 스마트폰과 노트북 같은 온디바이스 AI 환경까지 고려한 설계입니다.

덕분에 AI 기능을 이용하기 위해 모든 데이터를 클라우드 서버로 보낼 필요가 없습니다. 스마트폰이나 PC 안에서 직접 AI를 실행할 수 있어 응답 속도를 높일 수 있고 개인정보를 외부 서버로 전송하지 않아도 된다는 장점이 있습니다.

같은 땅에 더 높이 짓는 법

기존 9세대 V낸드와 10세대 BV-낸드 비교. 메모리 셀과 주변회로를 각각 제작해 접합하는 '본딩' 구조를 적용, 초고적층과 집적도 향상을 구현한 차세대 낸드 기술이다./그래픽=삼성전자

AI 시대에는 같은 크기의 저장장치에 더 많은 데이터를 담아야 합니다. 메모리 셀을 얼마나 촘촘하게 쌓을 수 있는지가 새로운 경쟁력이 되는 이유인데요.

삼성전자가 공개한 V10 BV-NAND는 메모리 셀을 400단 이상 수직으로 쌓아 저장 용량을 크게 높인 차세대 낸드입니다. 같은 부지에 더 많은 세대를 짓기 위해 아파트를 높게 올리는 것과 비슷한 원리입니다.

이를 가능하게 한 핵심은 '따로 만들고 붙이는 방식'입니다. 기존에는 메모리 셀과 주변 회로를 하나의 웨이퍼에서 함께 만들었지만 V10 BV-NAND는 각각 따로 만든 뒤 정밀하게 접합합니다. 이를 업계에서는 '본딩 구조'라고 부릅니다.

이 방식을 적용하면서 기존 286단 9세대 V낸드에서 업계 최초로 400단 이상 적층에 성공했습니다. 메모리 집적도는 전 세대보다 약 58% 높아졌고 읽기·쓰기 성능과 입출력 속도도 개선했습니다. 주변 회로까지 최적화해 전력 소비는 줄이면서 성능은 더욱 높였죠.

향후 이 기술이 SSD 등에 적용되면 같은 크기의 저장장치에서도 더 많은 데이터를 저장할 수 있습니다. 데이터센터 역시 같은 공간에서 저장 용량을 늘리는 동시에 전력 소비와 발열을 줄여 운영 효율까지 높일 수 있을 것으로 기대됩니다.

흥미로운 건 삼성전자가 공개한 세 기술이 모두 'Z축'을 활용한 3차원 구조를 지향한다는 점입니다. AI 가속기와 메모리의 거리를 좁히고, 제한된 공간에는 더 많은 데이터를 담으며, 데이터 이동은 최소화하는 것이 공통된 목표입니다. AI 시대 메모리의 승부는 단순히 더 빠른 칩을 만드는 데 그치지 않습니다. 폭증하는 데이터를 얼마나 효율적으로 처리할 수 있는 구조를 구현하느냐가 새로운 경쟁력이 되고 있습니다.

[테크따라잡기]는 한 주간 산업계 뉴스 속에 숨어 있는 기술을 쉽게 풀어드리는 비즈워치 산업팀의 주말 뉴스 코너입니다. 빠르게 변하는 기술, 빠르게 잡아 드리겠습니다. [편집자]

강민경 (klk707@bizwatch.co.kr)

ⓒ비즈니스워치의 소중한 저작물입니다. 무단전재와 재배포를 금합니다.