추론 중심 AI 시대, 엔비디아·AMD의 데이터센터 GPU 전략 [테크리포트]

저정밀 연산으로 추론 성능 5배↑ VS 고정밀 HPC는 폭넓게 활용 가능

최근 몇 년간 인공지능(AI) 시장의 중심은 '훈련'과 이를 뒷받침하는 'GPU(그래픽처리장치)' 경쟁이었다. 더 높은 성능을 향한 경쟁 속에서 GPU의 효율과 확보 능력은 핵심 변수로 작용해 왔다. 그러나 시장 상황이 바뀌고 있다. AI 활용의 중심이 '추론'으로 옮겨가면서 업계의 최대 과제도 기술 경쟁에서 '수익화'로 전환되고 있다. 

AI 인프라 시장의 핵심으로 꼽히는 최신 GPU 구조에서도 이러한 변화가 감지된다. 엔비디아와 AMD의 데이터센터용 최신 세대 GPU는 이전 세대 대비 특정 용도에 특화된 설계를 통해 성능을 끌어올린 점이 눈에 띈다. 이러한 '특화'의 핵심에는 추론 워크로드와 저정밀도 연산을 통한 처리량 극대화가 있다. 이러한 조건을 벗어나는 경우, 제조사들이 이야기하는 '마법 같은' 성능 향상을 얻을 수는 없다. 

CES 2026에서 '베라 루빈'을 소개하고 있는 젠슨 황 엔비디아 CEO / 엔비디아 영상 갈무리

저밀도 추론에 최적화한 엔비디아 '루빈'

엔비디아는 CES 2026을 통해 차세대 GPU 아키텍처 '루빈(Rubin)'과 이를 활용한 AI 팩토리 플랫폼 '베라 루빈(Vera Rubin) NVL 72'를 공식화했다. '베라 루빈' 기반은 지난해 엔비디아의 연례 행사 'GTC 2025'에서도 차세대 제품으로 언급된 바 있다. 당시와 비교하면, '베라' CPU와 '루빈' GPU, '베라 루빈' 시스템의 기술적 요소는 대부분 동일하지만, 당시 'NVL 144'로 기획된 시스템 디자인이 현재는 'NVL 72'로 조정돼 등장했다.

새로운 '루빈(Rubin)' GPU는 두 개의 다이를 결합한 '2 레티클 사이즈'로 디자인됐고, 총 대역폭 22TB/s의 HBM4 메모리 288GB를 탑재했다. 메모리 용량은 기존 B300 '블랙웰 울트라'와 동등하지만 HBM4를 사용하면서 GPU당 메모리 대역폭은 8TB/s 수준에서 22TB/s로 크게 증가했다. HBM4는 HBM3E 대비 채널 구성이 두 배로 늘고, 스택당 버스 폭과 대역폭도 두 배 확대되며 성능을 끌어올렸다. 

엔비디아의 발표에 따르면 루빈 GPU의 트랜지스터 수는 3360억개로 기존 '블랙웰' 세대 대비 1.6배 늘었다. 구조적으로는 3세대 트랜스포머 엔진, 6세대 텐서 코어를 탑재한 224개의 스트리밍 멀티프로세서 구성을 갖췄으며, 저정밀도 NVFP4와 FP8 연산에 최적화됐다. 특히 최신 AI 워크로드에 필요한 주의력, 활성화, 희소 계산 경로를 가속화할 수 있게 설계된 확장 특수 기능 유닛과 실행 파이프라인과 긴밀히 결합되는 등 아키텍처 측면의 최적화가 반영된 것으로 알려졌다.

GPU와 함께 하는 CPU, 인터커넥트 또한 성능이 향상됐다. GPU간 NV링크(NVLink) 연결 대역폭과 CPU-GPU간의 NV링크-C2C 연결 모두 이전 세대 대비 전송 대역폭이 두 배로 늘었다. 새로운 88코어 '베라' CPU에는 이전 세대보다 3.2배 늘어난 1.5TB 메모리가 구성된다. 여기에 랙스케일 시스템을 데이터센터 이상으로 확장하기 위해 새로운 커넥트X-9 NIC(Network Interface Card), 블루필드-4 DPU(Data Processing Unit), 엔비디아 추론 컨택스트 메모리 스토리지, 스펙트럼-6 이더넷 스위치 기술 등이 모두 투입됐다.

엔비디아 루빈 GPU 주요 특징 / 엔비디아

'루빈' 기반 시스템은 이러한 구조를 바탕으로 이전 세대 대비 상당한 수준의 성능 향상을 선보인다. 엔비디아는 '루빈' GPU가 칩 단위에서 NVFP4 기반 추론 워크로드에서는 50페타플롭스(PFLOPS)로 블랙웰 대비 5배, NVFP4 기반 훈련 워크로드에서는 35페타플롭스로 블랙웰 대비 3.5배의 성능을 제공한다고 제시한다. 하지만 이러한 성능 향상이 모든 유형의 워크로드에 적용되지는 않고, 저정밀도 연산에 최적화된 만큼 고정밀도 연산 영역에서는 이전 세대 대비 성능 우위가 크게 줄어드는 모습도 있다.

좀 더 직접적인 성능 특성 비교는 2개 GPU와 한 개 CPU를 결합한 '슈퍼칩' 간 시스템 성능에서 확인할 수 있다. 엔비디아가 발표한 자료에서 '베라 루빈' 슈퍼칩은 NVFP4 추론에서 100페타플롭스, 훈련에서 70페타플롭스 성능을, FP8 훈련에는 35페타플롭스 성능을 보인다. FP16에서는 8페타플롭스 성능을 보이고, FP32는 260테라플롭스(TFLOPS), FP64는 67테라플롭스까지 성능이 낮아진다.

이전 세대 'GB200 그레이스 블랙웰 슈퍼칩'은 같은 NVFP4에서 20페타플롭스로, 추론 기준 베라 루빈 대비 최대 5배 차이를 보이지만, 추론과 훈련의 성능 차이가 명시되진 않았다. FP8에서는 20페타플롭스로 격차가 1.75배로 줄고 FP16에서의 텐서 코어 성능은 10페타플롭스로 블랙웰 쪽이 앞선다. FP32 연산은 160테라플롭스로 베라 루빈 쪽이 1.6배 정도 높고, FP64는 80테라플롭스로 그레이스 블랙웰 쪽이 더 높다. 즉, 애플리케이션의 최적화 여부에 따라 세대 간 매력도는 크게 달라진다.

이같은 특성은 엔비디아의 또 다른 자료에서도 찾아볼 수 있다. 쿠다 코어를 활용하는 루빈 GPU의 FP32 벡터 성능은 블랙웰 대비 1.6배 높지만 FP64 벡터 성능은 블랙웰의 82.5% 수준이다. 이는 루빈 아키텍처가 저밀도 AI 연산에 최적화됨으로써 전통적인 HPC 영역에는 약점을 갖게 됐다는 점을 보여준다. 엔비디아는 이를 보완하기 위한 방법으로 텐서 코어로 FP32/64를 처리해 이전 세대 대비 큰 폭의 성능 향상을 구현한다. 이 방법은 아직 범용적으로 활용하기엔 부담이 있지만, 충분히 가능성 있는 대안으로 평가된다. 

엔비디아는 '베라 루빈' 기반 AI 팩토리가 이전 세대 대비 10배의 토큰 생산성을 가진다고 제시하는데, 이 '10배'에는 여러 현실적 '조건'이 숨어 있다. 단순히 최신 인프라를 도입하는 것만이 아니라 'NVFP4' 형식에 최적화된 모델을 써야 하드웨어의 잠재력을 극대화할 수 있다는 점을 고려해야 한다. 이러한 조건을 벗어나면 이전 세대 대비 루빈의 성능 향상은 트랜지스터가 늘어난 만큼, 혹은 그보다 못한 경우도 생긴다. 

이전 세대 대비 MI400 시리즈 GPU의 성능 변화 / AMD 영상 갈무리

AMD 'MI400 시리즈', 각 콘셉트 GPU 모델 분리하는 전략

AMD가 CES 2026에서 공식화한 'MI400 시리즈' 데이터센터 GPU 제품군은 엔비디아의 루빈 GPU에 직접 대응하는 사양을 갖췄다. '헬리오스(Helios)' 랙스케일 솔루션은 엔비디아의 'NVL72' 등을 직접 겨냥하는 구성을 제공한다. 엔비디아가 단일 GPU 아키텍처 기반에서 패키징과 확장으로 다양한 영역에 대응하는 것과 달리, AMD는 GPU 구성 콘셉트 자체를 좀 더 유연한 전략을 선택했다. 특히 MI400 시리즈에서는 전통적인 HPC를 위한 'FP64' 연산에 특화된 구성의 GPU를 별도로 구성한 점이 눈에 띈다.

MI400 시리즈의 대표 제품은 헬리오스 랙스케일 솔루션에도 사용되는 MI455X다. MI455X는 기존 MI355보다 70% 더 많은 3200억 트랜지스터가 집적됐고, 12개 칩의 칩렛 구성과 함께 엔비디아의 루빈보다 1.5배 많은 432GB의 HBM4 메모리를 탑재했다. 추론 성능에서는 이전 세대 대비 10배 향상을 달성했다. AMD는 지난해 MI400 시리즈의 계획 발표에서 새로운 GPU가 FP4에서 40페타플롭스, FP8에서 20페타플롭스 성능을 내 루빈 대비 동급 성능에 50% 더 많은 메모리를 제공할 것이라고 밝힌 바 있다.

MI455X가 사용될 헬리오스 랙스케일 솔루션에서도 엔비디아와 '동급' 구성을 맞춘 점이 눈에 띈다. 헬리오스 랙스케일 솔루션에서는 랙당 72개의 GPU를 UA링크(UALink)와 펜산도의 고속 네트워킹 기술을 조합해 연결한다. 여기에 최대 256코어 구성의 '젠 6' 아키텍처 기반 에픽 '베니스(Venice)' 프로세서와 조합될 예정이다. 

이를 통해 헬리오스는 랙 단위에서 최대 2.9엑사플롭스(EFLOPS)의 AI 연산 성능을 제공할 계획이다. 엔비디아 베라 루빈 NVL72의 NVFP4 추론이 3600페타플롭스, NVFP4 훈련이 2520페타플롭스인 점을 고려하면 GPU는 물론 랙스케일에서도 동급 수준으로 비교할 수 있다. 하지만 AMD는 엔비디아와 달리 FP4 수준에서도 추론과 훈련의 성능 차이를 이야기하지는 않아, 엔비디아만큼의 '추론 최적화'를 아키텍처 수준에서 고려하지는 않은 모습이다.

AMD MI400 시리즈 GPU 제품군의 영역별 구성 / AMD 영상 갈무리

AMD는 MI400 시리즈를 크게 세 가지 영역으로 구성했다. 'MI455X'는 '헬리오스 랙스케일 솔루션'과 결합해 하이퍼스케일러급 데이터센터의 고성능 훈련과 추론 환경에 최적화했다. 이는 엔비디아의 슈퍼칩 기반 'NVL 72' 디자인과도 같은 방향성이다. 'MI440X'는 8개 GPU가 탑재되는 엔터프라이즈용 랙 서버에 특화된 디자인에 사용되며 엔비디아의 'NVL8' 디자인에 대응한다. 엔비디아는 이 모든 디자인에 '루빈'을 사용하지만, AMD는 이 디자인들에 다른 모델명의 GPU를 투입한다는 점에서 차이가 있다.

AMD의 전략에서 흥미로운 점은 소버린 AI 와 HPC 영역을 위한 디자인이 따로 마련돼 있다는 점이다. AMD는 이 시장을 위해 에픽 '베니스-X' CPU와 'MI430X' GPU를 투입할 예정이다. 'MI430X'의 차별점은 현 세대 GPU가 점점 리소스 비중을 줄이고 있는 'FP64' 하드웨어 연산 유닛을 대폭 보강한 디자인으로 슈퍼컴퓨터 시장을 겨냥하고 있다는 점이다. 엔비디아가 지속적으로 GPU에서 FP64 하드웨어 연산기를 빼고 이를 다른 방법으로 '에뮬레이션'하려는 시도를 하는 것과는 차별화된다.

MI430X는 MI400 시리즈의 최신 아키텍처와 432GB의 HBM4 메모리 등 주요 특징을 공유하면서 하드웨어 기반 FP64 연산 가속 측면을 보강한 구성을 갖췄다. 이러한 특징은 과학 연산을 위한 슈퍼컴퓨터 환경 등에서 GPU의 활용 가치를 크게 높일 것으로 기대된다. 이미 미국 오크리지 국립연구소의 '디스커버리(Discovery)'와 프랑스의 '알리스 르코크(Alice Recoque)' 시스템이 이 MI430X를 기반으로 구축될 계획을 발표했다. 오크리지의 '디스커버리'는 2028년까지 구축해 2029년 운영을 시작할 계획이다.

권용만 기자

yongman.kwon@chosunbiz.com

yongman.kwon@chosunbiz.com