키보다 큰 AI 서버가 ‘우뚝’…삼전닉스 HBM 잘 나가는 이유가 여기에 [컴퓨텍스 2026]

엔비디아·AMD 차세대 AI 인프라 한자리에
슈퍼마이크로 “AI 시대엔 냉각 기술도 핵심 경쟁력”

엔비디아 베라루빈NVL72가 탑재된 서버 실물.

한국 수출의 버팀목인 반도체. 그중에서도 손톱만 한 고대역폭메모리(HBM)의 종착지는 사람 키보다 훨씬 큰 철제 구조물이었다. 삼성전자와 SK하이닉스가 생산하는 HBM은 엔비디아의 인공지능(AI) 반도체와 결합해 초대형 AI 서버 안으로 들어갔다.

대만 타이베이에서 열린 ‘컴퓨텍스 2026’에서 찾은 슈퍼마이크로 부스에서는 한국 반도체 산업의 핵심 수출 품목이 실제 어떤 형태의 AI 인프라로 구현되는지 확인할 수 있었다.

4일(현지시간) 대만 타이베이 난강전시장에서 만난 슈퍼마이크로 부스 중앙에는 엔비디아의 차세대 AI 플랫폼 ‘베라 루빈(Vera Rubin) NVL72’ 기반 서버가 자리 잡고 있었다.

가장 먼저 눈길을 끈 것은 압도적인 크기였다. 정확한 규격은 공개되지 않았지만, 181㎝인 기자의 키보다도 훨씬 높아 체감상 1.5배 가까이 커 보였다. 검은색 철제 랙 내부에는 수십 개의 AI 반도체와 케이블, 냉각 설비까지 빼곡하게 들어가 있었다.

AI 서버가 만들어지는 과정은 크게 세 단계로 볼 수 있다. 먼저 삼성전자와 SK하이닉스가 생산한 HBM이 엔비디아의 그래픽처리장치(GPU)에 탑재된다.

이후 HBM이 결합된 엔비디아 GPU는 슈퍼마이크로가 제작하는 AI 서버와 랙 시스템에 장착돼 데이터센터로 공급된다. 즉 삼성전자·SK하이닉스는 AI 메모리를, 엔비디아는 AI 연산 칩을, 슈퍼마이크로는 이를 실제 서버 형태로 구현하는 역할을 맡고 있는 셈이다.

김성민 슈퍼마이크로 비즈니스 개발 부문 상무는 “베라 루빈 NVL72는 GPU 72장을 하나의 시스템으로 연결한 구조”라며 “하나의 거대한 AI 컴퓨터라고 생각하면 된다”고 설명했다.

관계자 설명에 따르면 베라 루빈 NVL72에는 GPU 한 장당 288GB의 HBM4가 적용된다. GPU 72장을 모두 합치면 전체 메모리 용량은 약 20.7TB에 달한다. 일반 소비자용 노트북이 16~32GB 수준의 메모리를 탑재하는 것과 비교하면, 노트북 수백 대 분량의 메모리가 서버 한 대에 집적되는 셈이다.

AmD헬리오스 서버 실물.

최근 업계에서 HBM 공급 부족 우려가 반복적으로 제기되는 이유도 현장에서 실감할 수 있었다. HBM은 AI 반도체의 성능을 좌우하는 핵심 부품으로 꼽히는데, 초대형 AI 서버 한 대에만 수십 TB의 메모리가 사용되기 때문이다.

업계 추정대로 GPU당 HBM4 스택 8개가 적용된다고 가정하면 베라 루빈 NVL72 한 대에만 500개가 넘는 HBM 스택이 탑재되는 것으로 추산된다.

AI 데이터센터 한 곳에 이 같은 서버가 수십~수백 대씩 구축된다는 점을 고려하면 HBM 수요가 폭증하는 이유를 짐작할 수 있는 대목이다.

현장에서 또 인상적이었던 설명은 발열에 관한 부분이었다.

김 상무는 서버 내부를 가리키며 “AI 가속기 한 장의 소비전력이 최대 2300W 수준”이라며 “GPU 4개가 탑재된 모듈 하나만 놓고 봐도 헤어드라이어 10개 정도가 동시에 작동하는 수준의 열이 발생한다”고 말했다.

실물로 본 서버 곳곳에는 굵은 냉각 배관이 연결돼 있었다. 김 상무는 과거 데이터센터 서버가 공기를 이용해 열을 식혔다면, 최신 AI 서버는 냉각수를 순환시키는 수냉 방식이 기본으로 자리 잡고 있다고 설명했다.

그는 “공냉 방식으로는 더 이상 발열을 감당하기 어려운 수준”이라며 “냉각수 분배 장치(CDU)와 열 교환 장치 등을 직접 설계하고 제작하고 있다”고 설명했다.

부스 한편에는 지난 3월 미국에서 열린 엔비디아 개발자 행사(GTC) 당시 젠슨 황 엔비디아 최고경영자(CEO)의 친필 사인이 새겨진 장비도 전시돼 있었다. 슈퍼마이크로 본사가 엔비디아 본사와 가까운 거리에 위치한 만큼 양사가 차세대 AI 서버 개발 과정에서 긴밀히 협력하고 있다는 설명도 이어졌다.

슈퍼마이크로는 엔비디아 플랫폼뿐 아니라 AMD의 차세대 AI 서버 플랫폼 ‘헬리오스(Helios)’ 기반 시스템도 이 자리에서 함께 선보였다. 엔비디아와 AMD 모두 수십 개의 AI 반도체를 하나의 시스템으로 묶는 방향으로 경쟁하고 있는 것이다.

과거 AI 경쟁이 반도체 칩 자체의 성능에 집중됐다면 이제는 서버 전체를 어떻게 연결하고 냉각하며 운영하느냐가 경쟁력으로 떠오르고 있다는 의미다. 김 상무는 슈퍼마이크로가 서버뿐 아니라 네트워크 장비와 저장장치, 냉각 솔루션까지 함께 전시하며 AI 인프라 전반을 강조하고 있다고 설명했다.

김 상무는 “GPU만 중요한 것이 아니라 메모리와 저장장치, 네트워크, 냉각 설비가 모두 함께 움직여야 한다”며 “AI 인프라는 하나의 부품이 아니라 전체 시스템으로 봐야 한다”고 덧붙였다.

슈퍼마이크로 컴퓨텍스 2026 부스 전경.

이상현 기자 ishsy@dt.co.kr