반도체는 IT 시대의 '원유'…AI 발전이 부른 'HBM 대혈투' [트랜D]

최근 HBM(High Bandwidth Memory)에 대한 관심이 급증하고 있습니다. 고성능 컴퓨팅과 AI 기술의 발전으로 데이터 처리 속도와 대역폭에 대한 요구가 많이 증가하면서 HBM의 중요성이 부각되고 있기 때문입니다. SK하이닉스와 삼성전자 같은 국내 반도체 기업들이 HBM 기술 개발에 박차를 가하면서 글로벌 메모리 시장의 경쟁이 더욱 치열해지고 있습니다.

반도체 제조용 실리콘 웨이퍼. 엔바토

━

반도체는 IT 시대의 ‘원유’...AI 성능 극대화 해결사

반도체는 현대 경제를 이끄는 핵심 요소입니다. 스마트폰·TV·자동차는 물론 군사 장비에 이르기까지 모든 디지털 기기를 구동하는 필수적인 부품으로, IT 시대의 ‘원유’라고 불릴 만큼 중요한 자원입니다. HBM은 SK하이닉스가 최초로 개발한 고대역폭 메모리로, 기존 메모리 구조보다 훨씬 빠르고 효율적으로 데이터를 처리할 수 있어 최신 AI 모델·고성능 그래픽·서버 등에 필수적으로 사용됩니다.

HBM은 기존의 DRAM과 구조적으로 차별화됩니다. 일반적인 DRAM은 여러 개의 칩을 가로로 배치해 사용하는 방식입니다. 데스크톱이나 노트북 컴퓨터에 들어가는 메모리는 이러한 구조를 따릅니다. HBM은 여러 개의 메모리를 수직으로 쌓아 올리는 3D 적층 구조를 채택하고 있으며, TSV(Through-Silicon Via) 기술을 통해 칩 간의 연결을 가능하게 합니다. TSV는 실리콘 기판을 관통하는 수직 연결 통로로, 이를 통해 각 메모리가 서로 빠르게 통신할 수 있습니다. 이러한 구조 덕분에 HBM은 DRAM과 달리 데이터 전송 속도를 크게 향상합니다. 전력 소모도 줄여 효율적인 전력 소비가 가능하죠.

디램과 HBM의 구조 비교 이미지. AMD

HBM 기술은 현재까지 세 번의 주요 발전 단계를 거쳤습니다. ‘HBM1’은 최초의 고대역폭 메모리로, 기존 DRAM보다 데이터 전송 속도를 개선했으나 대역폭 및 용량 차이는 크지 않고 가격이 비싸다는 한계가 있었습니다. 이를 개선한 ‘HBM2’는 더 높은 대역폭과 용량을 제공해 AI와 고성능 그래픽 애플리케이션에서 널리 사용되기 시작했습니다. 이후 ‘HBM3’는 대역폭을 더욱 확장하고 전력 효율을 크게 개선하면서 AI·슈퍼컴퓨터·고성능 데이터 센터 등에 필수적인 메모리로 자리 잡았습니다. 최근에는 ‘HBM3e’가 주목받는데, HBM3e는 HBM3의 업그레이드 버전으로, 대역폭을 더욱 향상하고 데이터 전송 속도를 극대화해 AI 모델의 학습과 추론 성능을 크게 높이는 데 기여합니다.

AI 시대 속 메모리. 삼성전자

━

AI 발전이 일으킨 반도체 시장 속 보이지 않는 혈투

AI 기술의 발전으로 글로벌 IT 기업들의 메모리 대역폭 수요가 증가하고 있습니다. 엔비디아·AMD·인텔 등의 수요는 나날이 증가하고 있습니다. 특히, 엔비디아의 GPU는 HBM과 결합해 AI 모델 학습 및 추론에서 강력한 성능을 발휘합니다. AMD와 인텔 역시 HBM을 채택하여 고성능 제품군을 확장하고 있습니다. 구글·AWS를 비롯한 다양한 클라우드 서비스 제공업체들도 HBM이 필요합니다. 클라우드 서비스 제공업체들은 대규모 데이터 센터에서 AI 워크로드를 처리하기 위해 HBM의 고대역폭 메모리 특성을 활용합니다.

글로벌 IT 기업의 수요에 대응하기 위해 SK하이닉스와 삼성전자뿐만 아니라 미국 마이크론도 HBM의 성능을 개선하고 새로운 제품을 출시하면서 경쟁력을 강화하고 있습니다. TSMC와 같은 파운드리 업체는 HBM 칩을 생산하는 데 필요한 반도체 제조 공정을 지원하며, 이를 통해 메모리 제조사들이 더욱 정교한 HBM 제품을 개발할 수 있도록 돕습니다.

TSV라는 통로로 연결되어 있는 HBM. SK하이닉스

AI 기술의 발전은 HBM의 필요성과 밀접한 연관이 있습니다. AI 모델은 많은 양의 데이터를 처리해야 하므로 메모리 대역폭이 중요한 요소로 작용합니다. 예를 들어, 챗봇이나 이미지 인식 AI와 같은 모델은 학습과 추론 과정에서 대규모 데이터를 메모리와 GPU 사이에서 빠르게 전송해야 합니다. 이때 HBM은 고속 데이터 전송을 가능하게 해 AI 모델의 성능을 극대화할 수 있습니다.

또한, AI 모델의 크기가 커지고 학습 속도가 빨라질수록 기존의 메모리 시스템으로는 대역폭의 한계에 부딪힐 수밖에 없습니다. 많은 모델 데이터를 빠르게 처리하기 위해선 메모리 대역폭이 중요하기 때문입니다. HBM의 대역폭은 생성형 AI 연구와 상용화에 중요한 역할을 합니다. 예를 들어, 구글의 텐서플로우(TensorFlow)나 오픈 AI의 ‘GPT-3’와 같은 대형 생성형 AI 모델은 HBM을 사용해 데이터를 빠르게 처리함으로써 성능을 유지합니다.

HBM이 탑재된 엔비디아의 GPU. 엔비디아

━

HBM 전쟁은 이제 시작...대역폭과 용량 향상이 과제

HBM의 중요성은 앞으로 더욱 커질 것으로 전망됩니다. AI와 고성능 컴퓨팅 수요가 지속해서 증가하기 때문입니다. HBM3 및 그 이후의 기술 발전이 중요한 역할을 할 것으로 보입니다. HBM 기술의 발전은 집적도와 대역폭을 확대하고, 전력 효율을 개선하는 방향으로 진행되고 있습니다. HBM3를 지나 HBM4가 등장하면 대역폭과 용량이 크게 향상될 것입니다.

HBM4는 내부의 칩 사이 간격이 더욱 좁아지므로 하이브리드 본딩이라는 방식을 사용해 데이터를 주고받을 수 있게 만듭니다. SK하이닉스와 삼성전자가 하이브리드 본딩 기술 개발에 한창인 이유도 차세 HBM의 주도권을 확보하기 위함입니다. 성능 개선과 함께 고객의 니즈에 맞게 고객 맞춤형으로 제작하는 방식도 늘어나면서 HBM은 반도체 산업을 주도하는 핵심 제품으로 자리 잡을 것입니다. 앞으로 AI의 발전과 더불어 HBM의 성장이 얼마나 빠르게 진행될지 궁금해집니다.

윤준탁 IT 칼럼니스트