"차기 AI 경쟁력은 추론"… 엔비디아, 29조원 베팅 '초격차' 굳힌다

2026년 '추론 전쟁'…가성비·효율성 경쟁 점화
규제 피하고 실익 챙긴 엔비디아 '실리적 동거'

젠슨 황 엔비디아 최고경영자(CEO). [출처=엔비디아]

인공지능(AI) 반도체 시장의 패러다임이 거대 모델을 만드는 '학습'에서 실제 서비스에 적용하는 '추론'으로 빠르게 이동하고 있다. AI 칩 시장을 장악한 엔비디아는 최근 유망 스타트업에 잇달아 천문학적인 자금을 투입하며 2026년 본격화될 '추론 전쟁'에 대비하는 모습이다.

22일 월스트리트저널(WSJ)에 따르면 엔비디아는 최근 미국 AI 추론 최적화 플랫폼 개발사 베이스텐(Baseten)에 1억5000만 달러(약 2200억원)를 투자했다. 이는 베이스텐이 최근 조달한 투자금의 절반에 달하는 규모다. 지난해 12월 AI 칩 스타트업 그로크(Groq)와 200억 달러(약 29조원) 규모의 기술 라이선스 계약을 체결한 데 이은 공격적인 행보다.

글로벌 반도체 및 투자은행(IB) 업계에서는 엔비디아의 이 같은 움직임을 단순한 기술 확보를 넘어, AI 시장의 구조적 변화에 대응하기 위한 전략적 포석으로 해석한다.

■ "2026년은 추론의 해"…가성비·효율성 경쟁 점화

글로벌 IT 업계는 올해를 기점으로 AI 워크로드의 중심축이 학습에서 추론으로 역전될 것으로 보고 있다. 로드리고 량 삼바노바 시스템즈 최고경영자(CEO)는 지난해 1월 열린 세계경제포럼(WEF)에서 "2026년에는 추론이 (학습보다) 더 큰 비중을 차지하게 될 것"이라고 전망한 바 있다.

빅테크 기업이 주도해 온 대형 모델 학습 경쟁이 일정 궤도에 오르면서, 이제는 이미 만들어진 'AI 뇌'를 얼마나 저렴하고 빠르게 구동하느냐가 핵심 경쟁력으로 떠올랐기 때문이다. 월스트리트저널(WSJ)은 "엔비디아가 AI의 추론을 더 효율적으로 만들어 주는 기술에 대해 공격적으로 투자를 확대하고 있다"고 분석했다.

■ GPU 약점 메우는 '그로크' LPU

그로크 언어처리장치(LPU). [출처=그로크]

엔비디아가 그로크와 손을 잡은 것은 자사 주력 제품인 GPU(그래픽처리장치)의 구조적 한계를 보완하기 위함이다. GPU는 방대한 데이터를 학습하는 데는 최적화돼 있지만, 실시간으로 답변을 생성하는 추론 단계, 특히 디코드(Decode) 영역에서는 전력 소모가 많고 속도가 느리다는 단점이 지적돼 왔다.

반면 그로크의 언어처리장치(LPU)는 칩 내부에 탑재된 S램(SRAM)을 활용해 이 문제를 해결했다. 미국 테크 전문 매체 실리콘 앵글은 "LPU 같은 칩들은 GPU보다 훨씬 효율적으로 AI 추론 업무를 수행할 가능성이 있다"며 "그 이유는 HBM 대신 전력 소모가 훨씬 적은 S램으로 AI 성능을 최적화했기 때문"이라고 설명했다.

■ 규제 피하고 실익 챙긴 '실리적 동거'

엔비디아는 그로크의 기술을 흡수함으로써 학습부터 추론까지 전 영역을 아우르는 독점적 지위를 공고히 하려는 전략을 펴고 있다.

엔비디아는 이번 거래에서 그로크를 인수하는 대신 '비독점 기술 라이선스' 계약 방식을 택했다. 이는 각국 경쟁 당국의 반독점 규제를 피하면서도 핵심 기술과 인력은 확보하는 우회로를 택한 것으로 풀이된다.

지난해 12월 엔비디아가 그로크와 기술 라이선스 계약을 체결했을 당시, 증권사 번스타인의 스테이시 라스곤 애널리스트는 "엔비디아의 거래에 반독점 문제가 주요 위험 요인이 될 수 있다"면서도 "비독점 라이선스 형태로 거래를 구조화하면 경쟁이 존재한다는 형식적 명분을 유지할 수 있다"고 평가했다.

반도체 업계 관계자는 "엔비디아의 행보는 AI 인프라가 단일 칩 의존에서 벗어나 작업 특성에 맞는 다양한 자원을 조합하는 형태로 진화하고 있음을 보여준다"며 "추론 시장을 선점하기 위한 빅테크 간 경쟁이 더욱 치열해질 것"이라고 내다봤다.