고대역폭메모리(HBM)만으로는 커지는 인공지능(AI) 추론 수요를 감당하기 어려워지면서 반도체 업계의 시선이 새로운 저장장치로 옮겨가고 있다. 연산에 필요한 초고속 메모리인 HBM과 별도로 방대한 문맥 데이터를 저장·관리하는 ‘키-밸류 캐시 솔리드스테이트드라이브(KV 캐시 SSD)’가 차세대 AI 인프라용 낸드 제품으로 부상하고 있다는 분석이다. 낸드와 D램을 모두 만드는 삼성전자와 SK하이닉스 같은 종합 메모리 기업에 새로운 기회가 열릴 수 있다는 관측도 나온다.
문맥 데이터가 낸드 시장도 바꾼다
18일 대신증권 리서치센터에 따르면 AI 추론 확산으로 글로벌 메모리 시장 규모는 2027년 사상 처음으로 1조달러 시대를 열 것으로 전망된다. 특히 낸드 시장은 올해 매출액이 전년 대비 247% 폭증한 2410억달러에 달할 것으로 전망돼 슈퍼 사이클 그 이상의 성장을 예고하고 있다.
KV 캐시 SSD는 AI 추론 과정에서 이전 대화와 문서 맥락을 기억하기 위해 저장하는 중간 데이터를 효율적으로 관리하는 차세대 저장장치다. 생성형 AI 서비스가 길어진 대화와 대용량 문서를 처리할수록 모델이 계속 참고해야 할 문맥 데이터가 기하급수적으로 늘어나는데, 이를 효율적으로 다루는 것이 핵심이다.
이 제품은 D램과 고부가 낸드를 결합한 구조로 작동한다. 당장 연산에 필요한 데이터는 D램에 두되 방대한 문맥 데이터는 전용 저장소인 SSD에 배분해 관리하는 방식이다. 쉽게 말해 HBM이 초고속 연산을 맡는 주연이라면 KV 캐시 SSD는 반복적으로 호출되는 대규모 문맥 데이터를 맡아 시스템의 병목 현상을 제거하고 토큰 생성 속도를 높이는 특급 조연인 셈이다.
변화의 중심에는 엔비디아가 지난 1월 발표한 ‘ICMS(Inference Context Memory Storage)’ 아키텍처가 있다. 차세대 그래픽처리장치(GPU) 플랫폼인 ‘루빈’에 적용되는 이 기술은 비싼 HBM은 연산에 집중시키고 방대한 문맥 데이터는 상대적으로 저렴한 낸드 기반 저장장치로 분산하는 ‘낸드 오프로딩(Offloading)’이 핵심이다. 기술적으로는 데이터를 병렬 처리하는 통로를 16개로 늘린 ‘16 플레인’ 구조를 적용해 읽기·쓰기 효율을 극대화했다.
韓, 종합 메모리 강점…D램 수급 용이
특히 KV 캐시 SSD는 삼성전자와 SK하이닉스 등 국내 메모리 기업에 기회가 될 수 있다는 관측이 나온다. 시장이 커질수록 낸드 적층 기술만이 아니라 SSD 내부에 들어가는 D램 확보 능력도 경쟁력에 영향을 줄 수 있어서다.
고성능 SSD 구동에는 컨트롤러와 함께 DDR4 등 구형 D램이 탑재되는데 한국 기업들은 이를 자체 수급할 수 있다. 반면 키옥시아와 샌디스크 등 순수 낸드 업체들은 D램을 외부에서 조달해야 한다. 구형 D램 수급난이 이어지는 가운데 국내 기업들은 공급 안정성과 원가 관리 측면에서 상대적으로 유리한 구조라는 평가다.
AI 서버 내부 데이터 흐름이 연산 중심에서 저장·호출 최적화까지 넓어질 경우 HBM과 D램, 낸드를 모두 갖춘 종합 메모리 업체들의 활약이 두드러질 전망이다. 기존에는 HBM 경쟁력이 AI 메모리 시장의 핵심 변수로 꼽혔다면 앞으로는 낸드와 D램을 결합한 AI 추론용 저장장치 대응력까지 경쟁력의 일부가 될 수 있다는 의미다.
업계 관계자는 “과거 낸드가 단순히 용량을 키우는 보조 저장장치였다면 이제는 AI 추론의 처리량을 결정짓는 핵심 인프라가 됐다”며 “HBM부터 D램, 낸드까지 전 제품군을 보유한 한국 메모리 기업들이 AI 서버 내부의 데이터 흐름 전체를 장악해 나가고 있다”고 분석했다.
이가영 기자
Copyright © 블로터