“똘똘한 스타트업 투자, 열 빅테크 안부럽다”…삼성전자가 ‘그록 로또’ 맞은 사연 (하편) [전자만사]

구글 TPU 만든 창업자의 AI 스타트업에
파운드리 서비스하고, 투자까지 한 삼성
지난해 그록이 엔비디아에 인수되면서
엔비디아에 LPU 대량 공급할 기회 얻어
CoWos와 HBM 부족한 엔비디아도 윈윈

조나단 로스 그록 창업자. <사진=그록>

(상편에서 계속 됩니다)

그록(Groq)이라는 반도체 회사의 역사는 구글로 거슬러 올라갑니다. 지금 우리가 사용하는 인공지능의 기반 기술인 딥러닝(Deep Learning)을 전세계에서 처음으로 알아본 회사는 바로 구글. 딥러닝을 통해 AI를 개발하던 구글은 엔비디아 GPU와 같은 병렬연산에 강한 반도체가 AI를 학습시키는데 아주 중요하다는 것을 깨닫습니다. 그래서 AI 학습에 특화된 반도체를 직접 설계해서 만들게되는데요. 그 반도체가 바로 TPU(Tensor Processing Unit)입니다. AI 학습이란 것이 다차원 행렬인 텐서 연산인 것에서 이름을 따왔습니다.

구글이 처음 TPU를 설계했을때 그 창업팀의 일원이었던 조나단 로스. 그는 이때의 경험을 기반으로 2016년 그록이라는 AI 반도체 설계 기업을 창업합니다. TPU 처럼 AI 연산에 특화된 반도체를 만든다는 아이디어였죠. 특히, 챗GPT와 같이 트랜스포머에 구조에 기반한 LLM 연산에 특화된 반도체였기 때문에 자신들의 제품을 LPU라고 불렀습니다(LLM이 유행하기 전에는 텐서스트리밍프로세서(TSP)라고 불렀습니다). 그록은 2021년 타이거글로벌과 TDK벤처스 등 벤처캐피털로부터 10억 달러의 기업가치로 3억 달러의 투자를 받는 등 기술력은 이미 인정받은 기업이었습니다.

추론의 각 단계에 효율적인 반도체를 만든다

삼성은 그록 외에도 삼바노바, 텐스토렌트 등의 AI 반도체 회사에 투자했습니다. <삼성캐털리스트펀드>

반도체 설계 회사인 그록에게는 LPU를 대신 생산해줄 파운드리가 필요했습니다. 보통 AI 반도체 기업들은 세계 1위 파운드리 기업인 대만 TSMC에 생산을 맡기는 경우가 많은데요. 그록은 2023년 위탁생산을 삼성전자에 맡깁니다. 그것도 당시에는 막 건설중이었던 삼성전자의 미국 테일러 팹에서 생산을 하기로 했습니다.

그록이 유명해진 것은 2024년 2월 자신들의 LPU가 얼마나 빠른지를 보여줘서였습니다. 2022년11월 챗GPT가 글로벌 성공을 거두면서 이를 만드는데 사용되는 엔비디아 GPU에 대한 수요가 폭발했습니다. 하지만 당시 사람들의 관심을 챗GPT 같은 LLM을 만드는데 사용되는 ‘학습(Training)’에만 관심이 쏠렸습니다. 만들어진 LLM을 가지고 서비스를 하는 ‘추론(Inference)’에 대한 관심은 덜했습니다. 그록은 LPU를 활용한 추론이 얼마나 속도가 빠른지를 직접 서비스를 통해서 보여줬습니다.

그록은 이런 성능을 바탕으로 2024년, 2025년까지 계속 투자를 받는데요. 삼성전자는 그록의 파운드리 생산 파트너로 참여하는데 그치지 않고 두 차례의 투자에 참여합니다. 바로 삼성전자의 실리콘밸리 투자펀드 ‘캐털리스트 펀드’를 통해서입니다. 당시 그록의 기업가치는 이미 28억달러에 달하게 됩니다.

그러다 지난해 12월 깜짝 놀랄 소식이 전해집니다. 바로 전세계 AI 반도체 1위인 엔비디아가 그록을 200억달러에 인수한다는 내용이었죠. 엔비디아 역사상 가장 큰 규모의 인수였습니다. 그리고 불과 3개월이 지난 이번 GTC2026에서 그록 LPU를 엔비디아 반도체 생태계에 포함시킨 제품인 ‘엔비디아 그록3 LPX’라는 제품을 공개합니다.

엔비디아가 그록을 인수한 두가지 이유

그록 LPU는 SRAM과 칩이 한 몸입니다. <엔비디아>

엔비디아는 왜 그록을 인수했을까요? 그록의 구조를 보면 이해가 되는 부분이 있습니다. 엔비디아의 GPU는 동적메모리(DRAM)으로 만든 고대역폭메모리(HBM)을 사용합니다. 반면 LPU는 정적메모리(SRAM)를 사용합니다. SRAM은 DRAM과 완전히 다른 구조의 메모리반도체인데요. CPU에서 일시 저장공간을 뜻하는 캐시메모리로 사용됩니다. 즉, SRAM은 CPU의 일부이고, 이른바 메모리 반도체 공정이 아닌 로직 공정을 통해서 만들어집니다.

AI의 추론 과정은 크게 ‘프리필’과 ‘디코딩’의 두 단계로 나눠지는데 엔비디아는 이번 GTC에서 각 단계의 역할 분담을 나누는 컨셉을 제시했습니다. 속도가 중요한 특정 디코딩 과정 SRAM 기반의 LPU가 맡고, 프리필 과정은 기존의 HBM 기반의 엔비디아 GPU가 담당한다는 것입니다. 엔비디아가 만들고 있는 또다른 추론용 제품인 루빈 CPX의 경우 프리필에 강한 것으로 알려져있습니다.

이처럼 LPU를 사용하면서 엔비디아는 구글 TPU 처럼 AI 추론에 특화된 반도체들의 도전을 막아낼 수 있습니다.

그런데 사실 엔비디아 입장에서 LPU의 가장 큰 강점은 그 성능보다는 제조방식입니다. HBM 기반의 GPU는 생산과정에서 두 군데의 병목지점이 있습니다. 첫번째는 CoWoS 공정이라는 것인데요. 쉽게 말하자면 GPU와 HBM을 하나로 포장하는 공정입니다. 전세계에서 이것을 할 수 있는 공정의 규모가 제한적인데, 엔비디아는 물론 AMD, 구글, 아마존 등 AI 반도체를 만드는 기업들이 모두 이 공정을 사용하려고 해서 엔비디아는 원하는 만큼 AI 반도체를 만들 수 없는 상황입니다.

LPU는 CoWos와도 HBM과도 무관하다

AI 반도체를 생산하는데 병목지점이 되는 것은 CoWoS와 HBM 두곳입니다. <에포크AI>

두번째로 CoWoS보다 더 큰 병목은 바로 D램인데요. HBM을 만드는데 D램을 많이 쓰게되고, 그러다보니 일반 서버나 스마트폰 등에 들어가는 D램 공급이 부족해졌고, 덕분에 전세계적으로 D램 가격이 폭등해버렸습니다. 엔비디아도 HBM 외에 D램이 많이 필요한데 그 가격이 올려버렸고, HBM의 재료가 되는 D램의 가격이 올랐으므로, HBM 가격도 올라갈 수 밖에 없습니다.

CoWoS 공정도, D램도 전체 생산량을 늘리려면 1-2년 정도가 더 걸릴 것으로 예상되고 있습니다. 더 많은 AI 가속기와 서버를 팔아야하는 엔비디아 입장에서는 답답한 상황인 것이죠.

그런데 그록의 LPU는 이런 CoWoS 공정도 D램 공정도 사용하지 않습니다. 일반적인 파운드리 로직 공정을 사용해서 만드는데요. 이 파운드리도 값도 비싸고, 고객들이 줄을 선 TSMC 첨단공정이 아닌 삼성 파운드리 4나노 공정을 사용합니다. D램은 또 어떤가요. SRAM으로 작동되는 LPU는 D램도 필요로하지 않습니다. 엔비디아 입장에서는 병목과 높은 가격을 피할 수 있는 대안이 LPU인 것이죠.

엔비디아의 그록 LPU를 생산하는 것은 사실 삼성에게도 윈윈이 되는 일입니다. 사실 지난해까지만 해도 삼성전자의 파운드리는 고객을 찾지 못해서 가동률이 매우 낮았습니다. 엔비디아에 팔리기 전에도 삼성 파운드리에서 그록의 LPU가 생산되기는 했지만 스타트업이었던 만큼 크게 늘어나기를 기대하기는 어려웠죠. 하지만 그록이 부잣집의 데릴사위(?)로 들어가게되면서 삼성 파운드리 입장에서는 큰 기회가 열렸습니다.

앞서 상편에서 말씀드린대로 HBM은 다른 경쟁사의 점유율을 빼앗아와야합니다. 빼앗아온다고 해도 결국엔 D램 생산량을 HBM 쪽으로 돌려야하기 때문에 크게 더 남는 것도 없습니다. 반면에 LPU는 완전히 새로운 시장에 뛰어들게된 것이죠.

잘 키운 스타트업, 빅테크 안부럽다

2023년 1월 경계현 삼성전자 사장(왼쪽)이 빌 그라벨 윌리엄슨카운티장으로부터 ‘삼성 고속도로(Samsung Highway)’가 적힌 표지판을 선물 받았습니다. 삼성전자가 테일러에 파운드리를 건설하지 않았다면 그록과 사업기회가 없었을 수도 있습니다. <삼성전자>

엔비디아 가족의 일부가 된 LPU가 성공을 거두면 자연스럽게 삼성파운드리의 가동률과 매출도 올라갑니다. 이미 엔비디아에 HBM과 D램, 소캠 등 다양한 메모리를 공급하고 있는데, 예상하지 못했던 파운드리를 통한 매출이 크게 늘어날 기회가 생긴 것입니다. GTC 2026 기조연설에서 젠슨 황 CEO는 특정한 워크로드에서는 그록 LPU가 전체 데이터센터의 약 25%를 차지할 수 있다고 말하기도 했습니다.

이런 점에서 저는 삼성전자가 그록이라는 ‘로또’를 맞았다고 생각하는데요. 로또라는 스타트업에 초기에 투자하고 그 가능성을 믿어줬기 때문에 로또를 맞을 수 있었던 것입니다.

이는 앞으로 삼성 파운드리의 좋은 성공 사례가 될 것으로 보입니다. 사실 이미 존재하는 TSMC의 고객을 가져오는 것은 매우 어렵습니다. 특히, 애플, 엔비디아, 구글, 퀄컴 같은 빅테크 기업을 고객으로 TSMC에서 빼앗아오는 것은 더욱 어렵습니다.

그렇기 때문에 오히려 그록 같은 팹리스 스타트업과 협력하고 투자하는 것이 삼성 파운드리의 성공을 가져올 수 있는 좋은 전략이라는 생각이 듭니다. 이번과 같은 그록과 삼성의 상호 윈윈 사례가 한국의 AI 반도체 기업들에게도 좋은 본보기가 된다면 좋겠습니다.

전자만사는 반도체부터 시작해 스마트폰, TV, AI를 작동시키는 데이터센터까지 전자산업의 모든 이슈를 쉽고 가볍게 다룹니다. 하편은 금요일 오후 mk.co.kr 프리미엄 연재에서 읽어보실 수 있습니다.