‘박리다매’ → ‘커스텀 비즈니스’···인텔·ARM 이어 엔비디아 패권

달라진 반도체 환경…주목해볼 3가지 변화

반도체 패러다임은 전방 IT 산업 트렌드와 발맞춰 변해왔다. 데스크톱 시대에는 ‘x86’을 앞세운 인텔의 호황기였다. 스마트폰이 일상에 자리 잡은 뒤에는 단순 명령 체계(RISC) 기반의 ARM이 패권을 잡았다. 이후 인공지능(AI)이 일상에 파고들며 반도체 패러다임은 또 한 번 진화하고 있다. 3번째 물결을 이끄는 곳은 그래픽처리장치(GPU) 한 우물을 판 엔비디아다.

패러다임 변화는 공급망의 키워드도 바꾸고 있다. 그간 메모리 반도체 시장에선 모두와 호환되는 ‘범용 칩’이 우선시됐다. 하지만 AI 반도체 시대에는 ‘주문형’ 커스텀 비즈니스가 대세로 떠오른 상태다. 파운드리도 앞단의 변화에 발맞춰 후공정 첨단 패키징 기술이 핵심이 됐다. 새로운 시대, 주목해야 할 변화 3가지를 살펴봤다.

HBM3E 8개가 탑재되는 엔비디아의 AI 칩 ‘H200’. (엔비디아 제공)

[1] AI 시대 내다본 ‘엔비디아’의 부상

찐 강점은 GPU 성능 아닌 ‘소프트웨어’

최근 팹리스 업체들의 마케팅 키워드는 ‘엔비디아 성능’이다. 모두가 앞다퉈 “우리 제품이 엔비디아 GPU 성능을 넘어섰다”고 강조한다. 중국 언론에선 “화웨이가 엔비디아 A100급 GPU를 개발했다”는 말이 나온다. 국내에서도 엔비디아 GPU 성능(속도 기준)을 제쳤다는 스타트업들이 등장했다. 다만 실제로 성능을 따라잡았는지는 미지수다. 만약 비슷한 수준까지 올라섰다고 해도 엔비디아의 영향력은 계속될 가능성이 높다. 엔비디아의 패권은 단순히 GPU 성능만으로 이뤄낸 게 아니기 때문이다.

엔비디아가 AI 반도체 패권을 쥐게 된 배경은 크게 3가지다. ① 일찌감치 AI 시대를 겨냥한 GPU 개발 ② GPU 최적화, 연산 제어 기술력 ③ 소프트웨어 생태계다. 경쟁사들이 엔비디아를 뛰어넘는 수준의 기술 투자를 단행해 ①과 ②를 따라잡더라도 문제다. 엔비디아의 진짜 힘은 ③이기 때문이다.

20년 전만 해도 AI는 태동기에 가까웠다. AI 개발자들도 연산 도구가 부족해 시간을 갈아 넣으며 개발하던 시기다. 그러던 2006년 엔비디아는 AI 개발자들을 위한 선물을 내놓는다. GPU가 가진 병렬성(동일한 시간에 동시 작업)을 AI 개발에 활용할 수 있도록 소프트웨어 플랫폼을 선보인 것. 바로 ‘쿠다(CUDA)’다. AI 개발자들이 불필요한 작업 없이 AI 개발에만 집중할 수 있는 환경을 마련해준 셈이다.

엔비디아는 모든 걸 무료로 배포했다. AI 개발자부터 연구원, 학교 등 AI를 개발하는 모든 이들이 쿠다를 쓰기 시작했다. 다만 쿠다에는 한 가지 ‘구동 조건’이 있다. 엔비디아 GPU와만의 호환이다. 록인 효과를 위한 소프트웨어였던 셈이다. 18년이 지난 현재 쿠다는 AI 개발을 위한 ‘필수재’가 됐다. 개발자들은 쿠다 없이 AI를 개발하는 건 상상하기 어렵다고 말한다. 실제로 AMD와 인텔이 각각 ROCm과 oneAPI를 내놨지만 쿠다 이탈률은 미미한 수준이다. 플랫폼 이동 시 그간 쌓인 라이브러리를 포기해야 하고 해당 플랫폼들이 쿠다 수준의 최적화를 보장하는 것도 아니기 때문이다. 엔비디아가 AI용 GPU 시장에서 AMD와 인텔 등을 제치고 70% 이상의 점유율을 기록 중인 배경이다.

관심은 엔비디아 패권의 지속 여부에 쏠린다. 경쟁사인 인텔과 AMD와의 경쟁에선 두 발자국 이상 앞서 있다는 게 업계 평가다. 하지만 위기 요인이 없는 것은 아니다. 엔비디아 주요 고객사인 빅테크들의 ‘칩 내재화’ 트렌드다. 경쟁 우위를 점했더라도 주요 고객사들이 사라지면 엔비디아 매출은 감소할 수밖에 없다.

빅테크들이 내재화에 나선 건 당연한 수순이다. 엔비디아 GPU는 너무나 비싸다. 대표 제품인 ‘H100’은 개당 4만달러 수준으로 알려졌다. 엔비디아는 지난해 4분기에도 호실적을 거뒀다. 엔비디아의 호실적은 곧 빅테크들의 설비투자(CAPEX) 비용 증가를 의미한다. 수익성을 고려하면 빅테크들의 칩 내재화 욕구는 경영 측면에서도 올바른 방향성이다.

또 다른 요인은 엔비디아 GPU의 구조적 한계다. 엔비디아 GPU는 큰 틀에선 ‘범용 칩’에 가깝다. H100을 기점으로 전통적인 GPU에 ASIC(주문형 반도체) 요소들이 더해져 신경망처리장치(NPU) 형태도 띠고 있지만, 완벽한 건 아니다.

NPU는 오롯이 AI 딥러닝용으로 설계되는 전용 반도체를 말한다. 아무리 성능 좋은 하이브리드 자동차도 완전한 전기차가 될 수 없는 것과 마찬가지다. 범용 칩은 구조적으로 무겁고 비쌀 수밖에 없다. 이것저것 다양한 용도를 위하다 보니 전력 효율도 상대적으로 떨어진다. 빅테크 입장에서는 “우리에게 딱 맞는 기능만 갖춘 NPU를 만들어야겠다”고 생각하는 게 당연하다.

엔비디아도 현 상황을 위기로 판단한 모양이다. 대응 방안 마련에 나섰다. 2월 10일 로이터통신에 따르면 엔비디아는 주문형 칩 사업부를 만들고 있다. 지금까지는 GPU를 통한 완제품 판매에 힘썼다면 앞으로는 IP(설계 자산) 등을 활용해 고객사의 칩 내재화를 돕겠다는 의미로 풀이된다. 쉽게 말해 엔비디아가 빅테크들의 내재화를 돕는 파트너로 뛰겠다는 뜻이다. 당장 완제품 판매가 줄면 매출 둔화는 불가피하다. 다만 빅테크들과 협업을 이어간다면 엔비디아가 차지한 AI 반도체 시대 패권은 계속될 가능성이 높다.

팹리스 업계 관계자는 “테슬라 ‘도조’만 봐도 칩 내재화는 쉬운 일이 아니다. 빅테크 입장에서도 엔비디아와 함께할 수 있다는 건 긍정적인 일”이라면서 “엔비디아가 최근 ARM이 보여준 길을 걷는 것 같다. ARM은 빅테크들의 데이터센터 CPU 내재화 과정에서 가장 수혜를 봤다. 빅테크들이 ARM IP 기반으로 자체 칩을 만든 덕분”이라고 설명했다.

엔비디아를 이끄는 젠슨 황 엔비디아 최고경영자(CEO). (EPA)

[2] 공급망 핵심 키워드도 달라졌다

메모리·파운드리 ‘맞춤형’ ‘고부가’ 시대

AI 반도체 시대는 후방 산업 변화를 가져왔다. 특히 메모리 반도체 시장은 격변기 수준이다. 그간 메모리 반도체 시장을 관통하는 키워드는 ‘범용’과 ‘박리다매’였다. 상대적으로 저렴하고 호환성 좋은 제품을 많이 팔아 수익을 남기는 구조였다.

하지만 AI 반도체 시대 키워드는 ‘주문형’과 ‘고부가가치’다. 고객사들이 자사 CPU와 GPU에 정확히 호환되는 메모리를 찾기 시작하면서다.

고대역폭 메모리로 불리는 HBM도 이런 맥락에서 각광받는다. 과거 GPU와 메모리는 반도체 기판 위에 구분돼 탑재됐다. 하지만 AI 시대로 접어들며 GPU가 수행해야 할 연산량은 기하급수적으로 늘었다. GPU에 일감을 제공하는 메모리를 GPU 옆에 딱 붙여야 하는 상황이 됐다. 다만 한 가지 문제가 있었다. GPU 옆에 붙일 수 있는 공간이 한정적인 탓에 메모리 용량이 부족해진 것. 이 과정에서 메모리 여러 개를 쌓는 적층 방식의 HBM이 주목받았다. 엔비디아 등 메모리 반도체 시장의 주요 고객사들도 HBM만을 찾기 시작했다.

HBM 부문 선발 주자는 SK하이닉스다. 일찌감치 엔비디아와 협력해 기술 개발과 양산 준비를 이어왔다. 지난해 실적에서도 드러난다. 다만 엔비디아가 공급망 관리를 위해 ‘HBM3E’부터 공급망을 다변화하기로 결정한 만큼, 향후 HBM 시장 주도권을 둔 경쟁이 치열해질 전망이다. 삼성전자는 최근 36GB(기가바이트) HBM3E 12H(12단 적층) D램 개발에 성공했다고 밝혔다. 마이크론도 최근 HBM3E 양산 소식을 공개했다. 마이크론은 “HBM3E 솔루션 대량 생산을 시작했고 이번 24GB 용량의 HBM3E 8H D램은 올해 2분기 출하를 시작하는 엔비디아 ‘H200’에 탑재될 예정”이라고 밝혔다. 고객사까지 언급하며 자신감을 드러낸 셈이다.

메모리 반도체 시장이 맞춤형으로 재편되며 파운드리도 변화의 시간을 마주했다. 그 어느 때보다 첨단 패키징(Advanced Packaging) 부문 중요성이 커진 상태다. 패키징은 말 그대로 각기 다른 반도체 부품을 한데 묶어 작동하게 만드는 기술이다. GPU와 HBM을 기판 위에 한데 모으는 것도 패키징이다. 현재 AI 반도체 시장 패키징을 주도하는 건 대만 TSMC다. 당장 패권을 쥐고 있다고 평가받는 엔비디아 H100 칩 생산을 사실상 독점하고 있다. TSMC가 보유한 ‘칩 온 웨이퍼 온 서브스트레이트(CoWos)’ 공정 덕분이다. 이에 전문가들은 TSMC의 독주가 당분간 계속될 것으로 본다.

노근창 현대차증권 리서치센터장은 2월 22일 열린 ‘첨단 전자실장 기술 및 전망 세미나’에서 “TSMC는 지난해 실적을 발표하며 올해 연간 파운드리 시장의 기존 예상치 대비 훨씬 높은 가이던스를 내놨다”며 “엔비디아를 비롯해 클라우드 사업자들의 데이터센터 물량과 AMD 물량까지 TSMC가 양산하게 되면 초과 성장을 달성할 수 있을 것”이라고 말했다.

삼성전자와 인텔 모두 첨단 패키징 부문에 힘을 주는 모습이지만 TSMC와의 격차는 상당하다는 게 산업계 진단이다. 일각에서는 기술력만 놓고 보면 수년 이상 뒤처졌다는 분석까지 나온다. 반도체 업계 관계자는 “패키징은 대표적인 후공정 작업인데, 삼성전자의 경우 그동안 전공정 부문에 힘을 써왔다. TSMC와의 격차도 어느 정도 좁혀진 상태지만 패키징으로 대표되는 후공정 부문 격차는 가늠하기 힘들 정도”라고 말했다.

미국 마이크론테크놀로지가 2월 26일(현지 시간) 차세대 고대역폭 메모리(HBM)인 ‘HBM3E’를 세계 최초로 양산했다고 밝혔다. (로이터)

[3] ‘역전 시나리오’ 그리는 알트만?

“타도 엔비디아”…현실성은 ‘글쎄’

월스트리트저널(WSJ)은 2월 9일 오픈AI 창업자 샘 알트만이 5조~7조달러(약 6700조~9400조원)에 달하는 자금 조달을 목표로 투자자들과 대화하고 있다고 보도했다. 알트만은 이와 관련 뚜렷한 입장을 내지 않고 있다.

1경원 투자 유치가 실현될지는 미지수다. 다만 알트만의 행보를 보면 AI 반도체 산업 재편을 원하는 건 분명하다. 알트만은 기회가 될 때마다 엔비디아를 비판했다. “GPU 등 관련 칩이 충분히 공급되지 않고 있다, 특정 기업이 공급을 독점해서는 안 된다, 현재 GPU로는 범용인공지능(AGI) 개발이 불가능하다” 등이다. 지난해 11월에는 알트만이 오픈AI에서 비밀스럽게 진행하던 ‘티그리스(Tigris)’ 프로젝트 내용이 공개됐다. 티그리스 프로젝트는 AGI를 위한 새로운 AI 칩 생산 업체를 만들겠다는 계획이다. 알트만은 실제 이를 위해 중동 지역을 수차례 방문해 투자 유치를 시도했던 것으로 알려졌다. 그야말로 ‘타도 엔비디아’인 셈이다.

다만 알트만이 투자금을 유치하더라도 ‘타도 엔비디아’에 성공할지는 미지수다. 그간 쌓아온 기술력과 시장 침투율을 한 번에 취하기란 불가능에 가깝기 때문이다. 외부적 요인도 상당수다. WSJ는 “알트만 계획은 매 순간 장애물을 마주해야 한다”면서 “반도체 산업을 전략적 우선순위로 삼고 있는 미국 정부의 동의는 물론 세계에 걸쳐 있는 복잡한 자금 제공자와 파트너를 설득해야 한다”고 말했다. 만약 모든 문제를 해결하고 타도 엔비디아에 성공하더라도 문제다. 빅테크들이 칩 내재화에 뛰어든 상황에서 1경원의 투자 비용에 상쇄하는 성과를 낼 수 있을지가 의문이다.

이에 많은 이들이 비판 섞인 목소리를 내고 있다. 타도 대상인 젠슨 황 엔비디아 CEO도 마찬가지다. 젠슨 황은 2024 세계정부정상회의(WGS)에 참석해 알트만의 계획을 두고 “AI 구동을 위해 더 많은 컴퓨터를 구매해야 할 것이라고 단순하게 가정해서는 안 된다”고 말했다. 데미스 하사비스 구글딥마인드 CEO도 IT 매체 와이어드 인터뷰에서 알트만의 계획은 AI의 고도화와 거리가 있다고 말했다. 그는 “기존 기술을 확장하는 것만으로는 도구를 사용하거나 특정 작업을 수행하는 AI 같은 새로운 기능을 얻을 수 없을 것”이라고 평가했다.

농담 섞인 비판도 이어졌다. ‘CPU(중앙처리장치) 설계의 거장’ ‘반도체 전설’로 불리는 짐 켈러 텐스토렌트 CEO는 알트만의 계획을 두고 “난 1조달러 미만으로도 할 수 있다(I can do it for less $1T)”고 말했다.

[본 기사는 매경이코노미 제2249호 (2024.03.06~2024.03.12일자) 기사입니다]