‘NV링크’는 AI 시대에 엔비디아가 구축하는 데이터 고속도로

[WEEKLY BIZ] [김정호의 반도체 특강] NV링크로 데이터 전송 빨라져, AI 학습 시간도 줄어

WEEKLY BIZ 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/146096

지구는 둥글고 그 위에 존재하는 자원, 상품, 자본은 공간적으로 흩어져 있다. 이들이 빠르고도 효율적으로 이동하거나 교환이 가능하도록 돕는 대표적 토목 시설물이 바로 ‘길’이다. 그래서 인류 역사는 길에 새겨져 있다.

‘모든 길은 로마로 통한다(All roads lead to Rome)’는 말은 17세기 프랑스 작가 라 퐁텐의 ‘우화’에 맨 처음 나온 말이라고 전한다. 로마는 세계를 지배하기 위해 그들이 가고 싶어 하는 모든 곳까지 마찻길을 뚫었다. 이 도로들은 로마제국의 황금 시대인 서기 96~180년에 주로 건설된 것으로 추정된다. 로마의 공병대가 닦았다. 우선 지면을 1~2m 파 내려가고 그 위에 모래와 자갈을 층층이 쌓았다. 그리고 맨 위에 네모난 돌을 평평하게 놓아 완성했다. 로마제국은 372개의 대로를 만들어 그 길이가 자그마치 총 40만㎞나 됐다고 한다. 마찬가지로 중국을 통일한 진시황은 수레의 폭을 6척(약 135㎝)으로 통일하고, 전국에 걸친 도로망을 정비했다. 우리나라도 제2차 경제개발 5개년 계획 기간인 1970년 6월 30일에 총연장 416km의 경부고속도로를 완성했다. 지금도 ‘국토의 대동맥’이다.

엔비디아가 주도하는 데이터 고속도로 'NV링크(NVLink)'의 모습. 예전엔 GPU(그래픽처리장치)끼리 데이터를 교환하려면 CPU(중앙처리장치)를 꼭 거쳐야 했지만, NVLink를 사용하면 GPU끼리 데이터를 교환할 수 있다. /엔비디아, 그래픽=김의균

지구와 마찬가지로 컴퓨터에도 길이 뚫려있다. 인공지능(AI) 데이터센터의 컴퓨터에는 다양한 반도체가 공간적으로 흩어져 분포해 있다. 그래서 이들을 서로 연결하는 데이터 고속도로가 필요하다. 이 데이터 고속도로들을 이용해 AI 학습 과정에 필요한 데이터가 서로 교환된다. 그리고 학습 결과로 얻은 새로운 매개 변수(파라미터)도 서로 전달된다. 이러한 AI 데이터 고속도로 기술을 장악해 도로를 놓고 있는 기업이 바로 엔비디아다. 엔비디아의 또 다른 경쟁력이다.

엔비디아가 주도하는 데이터 고속도로의 이름은 ‘NV링크(NVLink)’다. NVLink는 데이터 고속도로의 규격과 속도, 그리고 신호등 체계를 규정한다. NVLink는 엔비디아가 AI 세계를 지배하려 만든 대표적 토목 시설이다. 지금의 생성형 AI는 모델 크기가 나날이 커지고 있다. 초거대화되고 있는 것이다. 그래서 보통 AI 데이터센터에는 수만~수백만 대에 이르는 CPU(중앙처리장치), GPU(그래픽처리장치)와 HBM(고대역폭메모리)이 필요하다. 그리고 이들을 서로 연결해야 한다. NVLink는 AI 데이터센터와 AI 수퍼컴퓨터의 가장 기본적인 기반 시설 중 하나다.

NVLink를 사용하면 빠르고, 효율적으로 데이터를 교환할 수 있다. 기존엔 GPU와 GPU가 서로 데이터를 교환하려면 반드시 CPU를 거쳐 지나가야 했다. CPU가 AI 컴퓨팅의 지휘자 역할을 하기 때문이다. 그런데 이제는 NVLink를 이용해 바로 GPU끼리 데이터를 교환한다. 경로가 단순화되고 고속화된다. 미래에는 NVLink를 이용해 HBM끼리도 CPU와 GPU를 거치지 않고 직접 데이터를 전송할 것으로 예측한다. 이렇게 되면 특히 AI 학습과 생성에 시간과 전력 소모가 대폭 절약된다.

특히 최근엔 NVLink를 이용한 데이터 전송 속도가 계속 빨라지고 있다. 모두 대역폭(bandwidth)을 높이기 위해서다. 예컨대 엔비디아의 주력 AI 칩인 H100의 GPU에서 사용하는 4세대 NVLink의 경우, 초당 90GB(900억개 바이트)의 속도로 데이터 전송이 가능하다. 현재 데이터가 지나는 도로는 18차선이다. 그런데 그 차선 숫자도 앞으로 늘어날 전망이다. 여기에 더해 엔비디아는 ‘NVLink 스위치’도 공급한다. NVLink 스위치는 데이터 고속도로의 ‘교차로 시스템’과 같다. 교차로를 이용해 고속도로에서 서로 얽히지 않고 빠른 속도로 마음대로 갈아탈 수 있게 된다. 데이터의 출발지와 종착지만 정해지면 자동으로 찾아간다. NVLink 스위치를 통해서 GPU를 기반으로 하는 AI 수퍼컴퓨터의 대형화가 가능해진다. 그리고 그 크기를 계속 키울 수 있다.

이렇게 데이터 고속도로망의 성능이 생성형 AI 서비스 품질의 관건이 된다. 그런데 바로 엔비디아가 그 기반 시설을 선점하고 있다. 당분간 엔비디아가 AI 반도체와 수퍼컴퓨터 시장을 지배할 것이란 이유 중의 하나다. 기존에 지구상엔 네 가지 길이 있었다. 땅 위의 길, 바다 위의 길, 하늘길, 그리고 인터넷 길이 그것이다. 여기에 AI 세상이 열리며 GPU를 연결하는 ‘데이터 길’이 추가되고 있다.

김정호 KAIST 전기·전자공학과 교수

WEEKLY BIZ 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/146096