엔비디아·AMD 손잡은 美 추론 반도체…K-NPU 운명은?[비하인드 칩스]

[고석용의 비하인드 칩스]

[편집자주] 글로벌 공룡 기업들이 즐비한 반도체 시장에 도전장을 내민 스타트업들이 있습니다. 아직 작은 기업들이지만, 차별화된 기술력과 전략으로 치열하게 시장을 두들기고 있습니다. 반도체 스타트업들의 흥망성쇠에 얽힌 비하인드 스토리를 전해드립니다.

[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 ‘데이터랩’에서 볼 수 있습니다.]

미국 샌프란시스코에서 열린 AMD의 '어드밴싱 AI 2026' 키노트. 리사 수 AMD CEO(왼쪽)와 앤드루 팰드먼 세레브라스 CEO가 협업 소식을 전하고 있다. /사진=AMD 유튜브

#지난달 23일(현지시간) 미국 샌프란시스코에서 열린 AMD 주최 연례 컨퍼런스 '어드밴싱 AI(인공지능) 2026' 현장에 깜짝 손님이 등장했다. 기조연설을 이어가던 리사 수 AMD CEO(최고경영자)가 직접 소개한 AI 추론 연산용 반도체(이하 추론 반도체) 개발사 세레브라스의 앤드루 펠드먼 CEO다.

수 CEO와 펠드먼 CEO는 이 자리에서 세레브라스의 'CS-3'를 AMD의 '헬리오스'와 연동시킨다고 발표했다. 헬리오스는 AMD의 최상위 반도체가 탑재된 AI 서버랙이다. 여기에 AI 추론 성능이 GPU(그래픽처리장치)보다 20배 이상 빠른 세레브라스의 CS-3을 연동해 AI 추론 속도를 극단적으로 끌어올린단 계획이다.

#지난해 12월, 유사한 행보가 엔비디아에서도 있었다. 엔비디아는 200억달러(29조원)에 추론 반도체 스타트업 그록(Groq)의 자산과 핵심 인력을 인수했다. 젠슨황 엔비디아 CEO는 올해 3월 GTC2026에서 그록의 기술을 최상위 AI 서버랙 '베라 루빈'에 통합해 AI 추론 속도를 높이겠다고 강조했다.

━

빅테크들 '추론 반도체' 러브콜…K칩들도 주목

━

젠슨황 엔비디아 CEO가 올해 3월 GTC2026에서 그록의 AI반도체 8개로 구성된 신제품 서버를 소개하고 있다 /사진=엔비디아 유튜브

글로벌 반도체 공룡들이 추론 반도체 스타트업들에게 잇달아 손을 내밀고 있다. 엔비디아, AMD뿐 아니라 인텔도 올해 초 추론 반도체 스타트업 삼바노바와 협력 계획을 전했고, AMD는 세레브라스와의 협업 발표 몇 주 뒤, 또 다른 추론 반도체 스타트업 탈라스를 인수하겠다고 발표했다.

이런 움직임에 리벨리온, 퓨리오사AI 등 국내 반도체 스타트업들도 주목하고 있다. 이들이 개발하는 NPU(신경망처리장치)도 추론 반도체여서다. 이들은 일련의 행보가 'GPU 외에 추론 반도체 시장이 정말 존재하냐'는 의구심을 해소해주는 계기가 됐다고 평가했다.

리벨리온 관계자는 "빅테크 업계에서 추론 반도체에 대한 수요를 인정한 긍정적 신호로 본다"고 전했고, 퓨리오사AI 관계자도 "이기종(Heterogeneous) AI 인프라가 시장의 대세로 떠오른다는 점에서 의미가 있다"고 말했다.

━

빅테크 연합의 '슈퍼카' vs K-NPU의 '전기차'

━

올해 4월 진행된 퓨리오사AI의 '레니게이드' 컨퍼런스. 백준호 퓨리오사AI 대표는 자사 NPU의 목표에 대해 "AI 연산을 효율적이고 지속가능하게 만드는 것"이라고 강조했다. 백 대표 뒤 장표는 퓨리오사AI의 NPU가 엔비디아의 GPU와 비교해 전력당 얼마나 더 많은 사용자들에게 서비스할 수 있는지를 보여주고 있다. /사진=퓨리오사AI 유튜브

다만, 긍정적으로만 보긴 어렵다는 반론도 나온다. 그록, 세레브라스 등 빅테크가 파트너로 삼은 추론 반도체가 아니면 시장 진입이 어려워질 수 있다는 우려다.

이에 대해 업계는 빅테크와 연합하는 추론 반도체들의 지향점이 국내 NPU들과 다른 점을 고려해야 한다고 반박한다. 그록과 세레브라스 칩의 특징은 극단적으로 빠른 속도다. 메모리부터 용량이 작지만 대역폭이 넓은 S램을 쓴다. 작은 용량 때문에 발생하는 문제는 돈을 더 내고 칩을 많이 구매해 설치하면 된다는 입장이다.

그 결과 세레브라스 칩은 추론 연산 속도가 엔비디아 GPU보다 20배 빠른 것으로 전해진다. 이에 빅테크들은 이들과 연합할 때 추론 연산을 '프롬프트 처리(Prefill)'와 '토큰 생성(decode)'으로 단계를 나누고 토큰 생성만 추론 반도체에 넘기는 전략을 취한다.

반면 국내 AI 반도체 기업들의 NPU는 속도보다는 전력 효율성에 집중한다. 메모리도 빠르면서 용량이 큰 HBM(고대역폭메모리)을 사용해데이터센터 사업자 입장에서 필요한 전체 칩 수를 줄여준다. 설비투자비(CAPEX)를 줄여주는 전략이다. 해외 업체들이 연비를 고려하지 않는 값비싼 '슈퍼카'를 만든다면, 국내 업체들은 저렴한 유지비가 강점인 '전기차'를 만드는 셈이다.

퓨리오사AI 관계자는 "미국 추론 반도체들과 지향점이 달라서 크게 위협이라 느끼지 않는다"고 말했다. 실제 최근 스웨덴의 데이터센터는 GPU와 함께 퓨리오사AI의 NPU를 탑재하기로 했다. 유럽 데이터센터들의 전력 효율성 중시 분위기가 반영된 선택이다.

━

"K-NPU '효용성 입증' 과제 풀어야"

━

박성현 리벨리온 대표가 지난달(7월) 8일 프랑스 파리에서 열린 글로벌 AI컨퍼런스 'RAISE 서밋'에서 리벨리온 NPU의 성능과 엔비디아 GPU 성능을 비교하고 있다. 박 대표는 설비투자비용, 1달러당 처리할 수 있는 토큰 수, 전력 1와트 당 처리할 수 있는 토큰 수 등 비용효율성에 대해 강조했다 /사진=리벨리온 유튜브

결국 AI 인프라 시장이 '절대적 연산 속도'와 '전력·비용 효율성'이라는 쓰임새에 맞춰 분화할 것이란 전망이 나온다. 초고속 연산이 필요한 영역은 빅테크 연합이, 전력 절감과 운용 효율이 시급한 데이터센터 영역은 국내 NPU 기업들이 공략하는 구도다.

한 딥테크 투자 심사역은 "AI 연산에서 범용성이 높은 GPU와 별개로 특화된 영역이 있는 추론 반도체는 필요하다는 게 입증됐다"며 "다만, 더 빠른 연산 속도냐, 더 저렴한 운영비냐 중에서 어떤 기능이 더 필요한지에 대해선 아직 시장에서 정해진 게 없다"고 말했다.

그러면서 "국내 NPU 기업들의 성과는 전력과 비용 효율성이란 강점이 시장에서 얼마큼의 수요가 있는지가 관건이 될 것"이라고 덧붙였다.

[머니투데이 스타트업 미디어 플랫폼 유니콘팩토리]

고석용 기자 gohsyng@mt.co.kr
[내 주식이 궁금할땐 머니투데이]