[현장] 김정호 KAIST 교수 “GPU 혁신은 끝나간다…HBM 이후 승부는 HBF·베이스다이”
“스테이 헝그리, 스테이 메모리(Stay Hungry, Stay Memory)”
[대한경제=심화영 기자]“GPU 아키텍처의 혁신은 사실상 끝나가고 있다. 이제 AI 반도체의 주도권은 메모리가 쥐게 될 것이다.”
김정호 KAIST 전기및전자공학부 교수는 3일 서울 광화문 프레스센터에서 열린 ‘HBF 연구내용 및 기술개발 전략 설명회’에서 이같이 주장했다.김 교수의 발언은 GPU 설계(아키텍처) 개선이 한계에 다다랐다는 뜻으로, AI 성능 향상의 핵심이 이제 메모리(HBM, HBF 등)로 옮겨간다는 진단이다.
그는 고대역폭메모리(HBM) 이후를 잇는 대안으로 ‘고대역폭 플래시 메모리(HBF)’를 제시했다. HBM 연구의 국내 최고 권위자로 꼽히는 김 교수가 ‘HBM 다음’을 공개적으로 언급한 것은 이번이 처음이다.김 교수는 “지금은 AI 발전 단계로 보면 10단계 중 1~2단계에 불과하다”며 “AI 시대의 핵심 부품은 결국 반도체이고, 그중에서도 메모리가 한 번 더 도약할 기회를 맞고 있다”고 했다.
학습의 HBM, 추론의 HBF…AI 메모리 역할 분화 시작
HBM은 AI 학습(training)에 최적화된 고속 연산 보조 메모리지만, AI 활용이 본격화될수록 무게중심이 추론(inference)으로 이동하면서 요구 조건이 달라지고 있다는 것이다.추론 단계에서는 초고대역폭보다 △대용량 △비용 △전력 효율이 더 중요해진다. 김 교수는 “모델 파라미터가 10조, 100조 단위로 커지는 상황에서 모든 데이터를 HBM에 담는 것은 물리적으로도, 경제적으로도 불가능하다”고 지적했다.
이 대안으로 제시된 것이 HBF다. HBF는 낸드플래시를 수직 적층해 대역폭을 확대한 메모리로, 대규모 데이터를 저비용으로 저장하면서도 빠르게 불러와야 하는 AI 추론 환경을 겨냥한다. 김 교수는 “HBF는 HBM의 대체가 아니라, AI 메모리를 학습과 추론으로 분화시키는 아키텍처적 해법”이라며 “2038년이면 HBF 시장이 HBM을 넘어설 것”이라고 내다봤다.
현재 산업계의 초점은 HBM3E 이후 세대인 HBM4, HBM5 개발 경쟁에 쏠려 있다. 하지만 김정호 교수는 이 경쟁을 “HBM 이후 구조를 미리 대비하지 못하면, 결국 GPU 제조사들에 주도권을 빼앗길 위험이 있다”고 경고했다.
김 교수는 “기술적으로는 HBM과 낸드에 있던 요소를 결합하는 것이기 때문에 결국 속도전”이라며 “누가 먼저 쓰게 만들 수 있느냐가 관건”이라고 말했다. 그는 2027년 전후 첫 상용 제품 등장 가능성도 언급했다.
승부처는 베이스다이… “삼성, 구조적 이점”
김 교수는 “AI가 실시간으로 학습과 추론을 동시에 수행하려면 지금보다 수백 배 이상 많은 데이터를 처리해야 하고, 이로 인해 메모리 대역폭과 용량이 폭발적으로 늘어날 것”이라고 말했다.김 교수가 지목한 핵심 경쟁력은 베이스다이(Base Die)다. 베이스다이는 GPU와 메모리를 연결하는 로직층으로, 열 관리·전력 공급·신호 전달을 총괄하는 ‘두뇌’에 해당한다.
HBM과 HBF를 모두 구현할 수 있는 생산자는 삼성전자, SK하이닉스, 마이크론 정도로 압축된다. 반면 수요자는 엔비디아, 구글, AMD 등 GPU·AI 가속기 업체들이다. 김 교수는 “SK하이닉스 역시 이 영역에서는 TSMC 의존 구조에 놓여 있다”며 “베이스다이를 직접 설계하고 공정까지 통제할 수 있다는 점에서 삼성전자가 전략적 이점을 갖는다”고 평가했다.
반면 SK하이닉스는 베이스다이 공정을 TSMC에 맡기고 있어 설계 자율성에 한계가 있다는 지적이다. 김 교수는 “이 단계에서 밀리면 외국 기업의 공정 능력에 의존하게 되고, 성능 주도권도 함께 잃을 수 있다”고 경고했다.김 교수는 “GPU-메모리 간 헤게모니 게임”으로 규정하며 “HBM과 HBF를 동시에 구현할 수 있는 한국 기업들이 AI 반도체 패권을 쥘 가능성이 높다”고 말했다.
심화영 기자 dorothy@
〈ⓒ 대한경제신문(www.dnews.co.kr), 무단전재 및 수집, 재배포금지〉
Copyright © 대한경제