"AI 추론 병목 해결사"…샌디스크, HBM 한계 넘는 HBF 기술 발표

[디지털데일리 김문기기자] 샌디스크가 인공지능(AI) 데이터센터와 엣지 컴퓨팅 환경의 메모리 병목 현상을 해결하기 위해 설계된 새로운 메모리 아키텍처인 '고대역폭 플래시 메모리(HBF)'를 선보였다.

알퍼 일크바하르(Alper Ilkbahar) 샌디스크 최고기술책임자(CTO)는 8일(현지시간) AI 추론 워크로드에 최적화된 고대역폭 플래시 메모리(HBF)를 통해 기존 고대역폭 메모리(HBM)와 동적임의접근메모리(DRAM)의 용량 및 비용 한계를 극복한다는 전략을 공개했다.

HBF는 샌디스크의 비익스 나인드(BiCS NAND) 설계 기술과 CMOS 본디드 어레이(CBA) 웨이퍼 기술을 활용해 재설계됐으며, 비휘발성 저장 매체로서 전원 차단 시에도 데이터를 유지하고 높은 동작 온도에서도 안정성을 제공하는 것이 특징이다.

이 솔루션은 기존 나인드 플래시 대비 병렬 처리와 로직 미세화, 맞춤형 적층 기술을 도입해 지연 시간을 단축하고 읽기 대역폭을 향상시켰다. 이를 통해 대형언어모델(LLM)이 DRAM에 근접한 속도로 데이터를 처리할 수 있도록 지원하며, 대규모 KV 캐시를 지원해 AI 추론의 정확도를 높인다. 특히 물리적 공간과 전력 공급이 제한적인 엔터프라이즈 데이터센터 및 엣지 AI 환경에서 높은 비용 효율성을 제공한다.

시장의 변화도 HBF 도입의 필요성을 뒷받침하고 있다. 현재 데이터센터의 약 7분의 1 수준인 AI 워크로드 처리 환경은 2030년 약 70%까지 확대될 전망이다. 엣지 AI 애플리케이션 매출은 2020년대 말까지 약 665억 달러에 달할 것으로 예상된다. 샌디스크는 HBM 대비 높은 용량과 집적도를 갖춘 HBF가 스마트폰 등 엣지 디바이스의 실시간 의사결정 능력을 고도화하고 중소규모 기업의 도메인 특화 모델 미세 조정을 지원할 것으로 내다봤다.

일크바하르 CTO는 "DRAM의 용량 확장은 정체된 반면 AI 추론을 위한 대용량 메모리 수요는 지속적으로 증가하고 있다"며 "이제는 예측을 수행하고 결과를 생성하는 대규모 추론 모델을 관리하기 위해 데이터센터 및 엣지 메모리의 구조를 재고해야 할 시점"이라고 말했다.

이어 "HBF는 HBM 대비 용량 면에서 뚜렷한 우위를 가지면서도 AI 추론에 필요한 높은 처리량을 동시에 충족한다"며 "확장 가능한 차세대 시스템 메모리로서 성능 병목을 줄이고 최신 데이터센터 및 엣지 네트워크 환경에서 AI 애플리케이션의 인사이트 도출 속도를 가속화하는 데 기여할 것"이라고 전했다.