새 괴물반도체 ‘블랙웰’이 드러낸 엔비디아의 야심은

[WEEKLY BIZ] [김정호의 반도체 특강] AI 학습·추론 시간, 크게 단축시켜

WEEKLY BIZ 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/146096

젠슨 황 엔비디아 최고경영자(CEO)가 지난달 18일 캘리포니아에서 열린 개발자 콘퍼런스 'GTC2024'에서 차세대 인공지능(AI) 수퍼칩 'GB200'을 소개하고 있다. 배경 화면을 통해 2개의 GPU(B200)가 마주보고 붙어있고, 그 아래로 엔비디아가 자체 개발한 CPU까지 탑재된 수퍼칩 GB200 모습이 보인다.

‘괴물’이다. 엔비디아 젠슨 황 최고경영자(CEO)는 지난달 18일 캘리포니아 새너제이 SAP 센터에서 열린 개발자 콘퍼런스 ‘GTC 2024′에서 차세대 인공지능(AI) 수퍼칩 ‘GB200′을 처음 소개했다. 이 AI수퍼칩의 이름이 바로 ‘블랙웰(Blackwell)’이다. 이날 소개된 엔비디아의 신형 칩셋 블랙웰 안에는 새로운 엔비디아 그래픽 처리 장치(GPU)인 B200도 들어간다. 현재 가장 앞섰다는 엔비디아 GPU H200을 넘어서는 ‘괴물’의 탄생이다.

엔비디아의 AI 수퍼칩 이름 ‘블랙웰’은 미국의 수학자이면서 통계학자인 데이비드 해롤드 블랙웰(Blackwell)에서 따왔다. 그는 미국 국립과학원 회원이 된 최초의 아프리카계 미국인이다. 그는 확률과 엔트로피의 관계를 주로 연구했는데, 이는 데이터 압축 및 AI 분야에서 매우 중요한 이론이다. AI 알고리즘은 기본적으로 수학에 기초한다. 그 수학 중에서도 확률 이론이 가장 핵심적인 도구다. AI 반도체는 결국 ‘확률 기계’라고 볼 수도 있다. 그런데 확률·통계 이론에 저명한 수학자 이름을 수퍼칩에 가져왔으니 젠슨 황은 수학도 잘 아는 것으로 판단한다. 핵심을 잘 안다고 볼 수 있다.

AI 수퍼칩 블랙웰 내부에는 2개의 GPU(B200)가 한 개의 패키지 기판 위에서 서로 마주 보고 가까이 연결돼 있다. AI가 거대화되면서 파라미터(매개변수)도 조 단위 이상으로 계속 늘어나고 있다. 파라미터는 생성형 AI가 정보를 학습하고 기억하는 신경(Perceptron)을 서로 연결하는 역할을 하는데, 그 숫자가 많을수록 AI 성능도 더 뛰어난 것으로 알려졌다. 그래서 한 개의 GPU도 모자라 두 개를 바로 옆에 연결해 GPU 크기를 두 배로 만들었다. 그리고 GPU 옆에는 8개의 5세대 HBM3E(5세대 HBM)가 장착된다. 이렇게 가까이 설치해 두 개의 GPU(B200) 사이의 데이터 전송 대역폭(帶域幅·순간적으로 보낼 수 있는 데이터의 양)을 극단적으로 높이고, 동시에 HBM과 GPU 사이의 데이터 전송 대역폭까지 더 높이려는 전략이다. 데이터 전송 대역폭을 더 높여 생성형 AI의 생성 속도를 끌어올리면 AI 학습과 추론(생성) 시간이 단축된다.

블랙웰에 사용되는 GPU(B200)는 대만 파운드리(반도체 위탁생산 업체)인 TSMC가 제작했다. GPU B200 두 개에는 총 2080억개의 트랜지스터가 탑재됐다. 그 결과 기존 GPU H100과 비교하면 데이터 연산 속도는 2.5배 빨라졌다.

그간 전통적으로 GPU를 통제하고 지휘하는 반도체는 중앙 처리 장치(CPU)의 몫이었다. 인텔이 주로 설계하고 생산해왔다. CPU가 PC 시대와 인터넷 시대를 이끌어왔다고 해도 과언이 아니다. 그런데 이제 엔비디아가 자체적으로 CPU까지 개발해 AI 수퍼칩 블랙웰에 장착했다. CPU 분야에서도 인텔에 선전포고를 한 셈이다. 엔비디아가 AI 반도체 산업 전체를 지배하려는 야심을 드러낸 것이라고 본다.

엔비디아가 다음에 개발할 AI 수퍼칩에는 GPU B200이 네 개 이상 근접 설치될 것이다. 두 개로는 모자를 것이다. 그리고 주변에 HBM도 수십 개가 연결될 전망이다. 이런 AI 반도체가 나오면 ‘AI 울트라 수퍼칩’이라 부를 만하다. 이런 AI 수퍼칩 36개가 서로 연결되면 한 개의 최소 단위의 AI 수퍼컴퓨터가 된다. 이들 AI 수퍼컴퓨터가 3만대 이상 연결되면 초대형 AI 데이터센터가 된다. 이를 위해 마이크로소프트(MS)·오픈AI 연합은 2028년까지 135조원가량을 투자할 계획이다.

AI 기능은 ‘학습’과 ‘추론(생성)’으로 나뉜다. AI 추론은 AI 모델이 예측이나 결론을 도출하는 것을 말하고, AI 학습은 AI 모델이 정확한 추론을 할 수 있도록 사전에 훈련하는 절차를 뜻한다. 생성형 AI는 학습 과정에서 글쓰기나 그림, 음악 작곡 등을 연습한다. 그런데 학습 연습을 많이 할수록 AI 추론 실력이 오른다. 그래서 수백만 혹은 수천만 번 학습을 한다. 많은 계산이 필요한 것이다. 그래서 학습 시간이 수개월 걸리기도 한다. AI 개발과 학습 시간의 단축이 결국 AI 기업의 경쟁력이 된다. AI 수퍼칩 블랙웰이 쓰이면 그만큼 AI 기업 경쟁력이 오른다는 뜻이다.

AI 추론 과정에선 ‘입력(prompt)’에 따라 다양한 창작 결과물이 나온다. 추론은 학습에 비해서 계산 부담이 적다. 하지만 앞으로 수백만 명에게 동시에 추론 서비스를 하려면 마찬가지로 블랙웰과 같은 AI 수퍼칩이 필요하게 된다. 괴물 같은 AI 수퍼칩을 내놓는 등 엔비디아의 혁신이 이어지고 있다. 엔비디아의 시장 지배력은 당분간 지속될 것으로 보인다.

WEEKLY BIZ 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/146096