1억원이 넘는다고? 엔비디아 수퍼칩 경쟁력의 비밀은

[WEEKLY BIZ] [김정호의 반도체 특강]독보적 GPU에 더해 ‘쿠다’라는 소프트웨어가 경쟁력의 핵심

WEEKLY BIZ 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/146096

인공지능(AI) 반도체 선도 업체인 엔비디아. 이 업체는 AI 반도체의 완전체를 추구한다. 지금까지 공개된 완전체의 정수(精髓)는 엔비디아의 차세대 인공지능 수퍼칩 ‘그레이스 호퍼(GH) 200′이다. 엔비디아는 지난해 미국 로스앤젤레스에서 열린 컴퓨터그래픽스 콘퍼런스 ‘시그래프 2023′에서 ‘GH200′을 올해 2분기부터 양산한다고 밝혔다. 가격은 1억원을 넘을 것으로 예상한다. 그래도 이 비싼 칩을 사려고 줄을 서야 할 수도 있다. 도대체 이 수퍼칩이 뭐길래 이런 비싼 값에도 사려는 사람이 줄을 설 것이라고 할까.

엔비디아의 첫 번째 경쟁력은 독보적인 그래픽 처리 장치(GPU)에 있다. 초창기 PC가 굼뜬 2차원 영상 세계만 구현할 때, 1993년 태동한 신생 회사 엔비디아는 컴퓨터 게임 등에 쓰이는 복잡한 3차원 이미지를 구현하기 위한 GPU로 틈새시장을 노렸다. 엔비디아의 GPU는 복잡한 3차원 이미지를 자연스레 구현해 내고자 엄청나게 많은 고속 병렬 계산을 해내야 했고, 이게 진화를 거듭해 생성형 AI 반도체 시대의 주인공이 됐다.

GPU 안에도 단기 기억 장치(캐시 메모리)는 있다. 그러나 AI 학습을 위한 매개변수(파라미터)를 모두 담기에는 턱없이 부족하다. 이에 ‘해결사’ 역할로 가까운 거리에 고대역폭 메모리라 불리는 HBM(High Bandwidth Memory)이 함께 설치된다. HBM은 D램(정보를 쓰고 지울 수 있는 전자 기기용 메모리 반도체) 여러 개를 수직으로 연결해 한 번에 대량의 데이터를 처리하는 초고성능·초고용량 메모리다. 이런 패키징 기술이 더해지며 엔비디아 GPU는 빅테크들의 AI 개발에 필수품이 됐다. 현존 최고 사양을 자랑하는 엔비디아의 고성능 AI 칩 ‘H100′은 최근 AI 반도체 시장을 선도한다. H100은 특히 생성형 AI 거대 언어 모델(LLM) 개발에 쓰이는데, 한 개 가격이 6000만원에 이르기도 한다. 그런데 이 같은 H100의 성능을 혁신적으로 끌어올릴 AI 반도체가 올 2분기부터 양산된다는 ‘GH200′이란 것이다. 여기엔 엔비디아가 자체 설계한 CPU와 HBM3E(5세대 HBM) 여섯 개<사진>가 함께 들어간다.

/엔비디아

그런데 엔비디아의 경쟁력은 끝내주는 AI 수퍼칩 때문만은 아니다. 엔비디아 경쟁력의 비밀은 바로 소프트웨어 ‘쿠다(CUDA·Compute Unified Device Architecture)’에 있다. 2006년 당시 엔비디아는 게임용 GPU의 고속 병렬 계산이 게임뿐 아니라 다양한 분야에도 쓰일 수 있을 것이라 자각하고 쿠다라는 소프트웨어를 내놨다고 한다. 쿠다는 쉽게 말하자면 ‘번역가’다. 인간이 AI 알고리즘을 새로 개발하려면 이를 코딩해야 한다. 알고리즘은 파이선(Python) 같은 코딩 언어로 표현되는데, 이 언어들은 인간 언어와 유사하다. 하지만 GPU 같은 반도체는 ‘1′과 ‘0′으로 이뤄진 2진수 언어인 ‘기계어’만 이해한다. 쿠다는 이렇게 인간 수준의 언어를 기계어로 자동 번역하는 기능을 한다. 더구나 쿠다는 초거대 생성형 AI 학습에 필요한 행렬 계산을 위한 최적의 스케줄과 역할 분담이란 ‘비서’ 역할도 해준다. 이에 AI 개발자들은 편리하고 신뢰성 있는 쿠다를 쓰는 게 이미 습관화됐다. AI 개발은 시간과의 싸움이라 개발자들은 개발 중 사소한 위험도 감수하려 하지 않는다. 따라서 엔비디아 GPU를 쓰려는 이유는 바로 쿠다에 있다는 평이 나온다. 쿠다가 곧 엔비디아의 핵심 경쟁력인 셈이다.

그렇다면 이런 막강한 경쟁력을 갖춘 엔비디아 주가는 계속 날아오를까. 단순 계산부터 해보자. 곧 출시될 GH200의 가격은 1억원대를 바라본다. 앞으로 대형 인공지능 플랫폼 기업들은 기업마다 GPU 100만개 정도는 필요할 것으로 과감히 예측해 본다. 이런 기업이 10개라면 엔비디아 매출은 1000조원, 100개라면 1경원이 된다. 지난 1일 현재 엔비디아 시가총액은 2672조원, 세계 시가총액 기준 3위다. 이렇게 보면 현재 엔비디아 주가는 미래를 좀 더 희망적으로 보는 시장 예측을 반영한다고 볼 수 있다. 그러나 위험 요소도 만만치 않다. 우선 AMD, 인텔, 구글, 메타 등이 AI 반도체를 자체 개발하며 맹추격 중이다. 독점적인 엔비디아의 GPU를 사서 쓰기엔 너무 비싸기 때문이다. 당장은 엔비디아 천하지만, 2~3년 지나면 경쟁 기업들이 시장을 잠식해 나갈 것이다. AI를 통한 사업 확장은 상상을 뛰어넘는 자본 투자를 전제로 한다는 것도 걸림돌이다. 샘 올트먼 오픈AI 최고경영자(CEO)는 AI 반도체 자체 설계·생산을 위해 9000조원에 달하는 투자금이 필요하다고 보고 협력 국가와 기업을 찾고 있다. 조만간 1경원이 넘는 투자 시대가 올 수도 있다. 전 세계 인구 10억명이 매달 10만원씩, 10년간 모아야 만들어지는 돈이 1경2000조원이다. AI가 이를 뛰어넘는 수익을 창출하겠느냐가 위험 요소인 셈이다.

김정호 KAIST 전기·전자공학과 교수

WEEKLY BIZ 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/146096