엔비디아도, MS도 반했다...AI 칩에 박힌 메모리 정체[김창영의 실리콘밸리Look]

에이전틱 AI 전환에 추론 가속기 경쟁 치열
그록·세레브라스·MS 칩에 SRAM 탑재
병목·지연 적고 접근 속도 빠른 장점
속도와 효율성 중요한 추론 개발에 적합

젠슨 황 엔비디아 CEO가 지난 5일(현지 시간) 미국 네바다주 라스베이거스 퐁텐블로 호텔에서 그래픽처리장치(GPU) 루빈을 선보이고 있다. 공동취재단

지난달 엔비디아가 우회 인수한 그록(Groq), 오픈AI가 100억 달러(14조 4000억 원) 규모 계약을 맺은 세레브라스 시스템즈. 그리고 하이퍼스케일러(초대형 데이터센터 운영사) 마이크로소프트(MS)까지. 최근 한달 새 글로벌 반도체 시장에서 주목 받은 AI 스타트업 또는 빅테크다. 이들은 추론 성능을 앞세워 AI 가속기 시장에서 반전을 일으키겠다면서 엔비디아 그래픽처리장치(GPU)에 도전장을 냈다.

한 발 더 나아가 그록, 세레브라스, MS의 AI 가속기 구성을 들여다보면 공통적으로 발견되는 것이 있다. 바로 메모리 반도체인 SRAM(Static Random-Access Memory·정적램)이다. 지난달 엔비디아는 자금력을 앞세워 핵심 기술과 인력을 사들이는 방식으로 눈엣가시였던 그록을 흡수해버렸다. SRAM이 들어간 그록의 AI 칩은 그만큼 GPU에 위협적인 존재였던 것이다.

마이아200. 사진 제공=MS

지난 26일(현지 시간) MS가 2년 만에 내놓은 자체 개발 AI 칩 ‘마이아200’에도 SK하이닉스(000660)가 생산한 5세대 고대역폭메모리인 HBM3E와 함께 SRAM이 들어갔다. 인텔이 인수를 논의 중인 삼바노바, 그록과 AI 추론 칩 선도 스타트업으로 꼽히는 세레브라스도 SRAM을 쓴다. 메모리 시장에서 삼성전자(005930)·SK하이닉스·마이크론이 생산하는 고대역폭메모리(High Bandwidth Memory·HBM)와 더불어 SRAM이 뜨거운 관심을 받고 있다.

휘발성 메모리는 데이터 보존 방식에 따라 SRAM과 DRAM(Dynamic Random Access Memory·동적램)으로 나뉜다. SRAM은 DRAM과 달리 전원이 공급되는 한 저장된 내용을 계속 기억한다. 저장 용량은 작지만 주기적 갱신이 필요없기 때문에 지연이 적고 접근 속도가 빠르다는 장점이 있다. 빠른 속도가 요구되는 중소규모 기억장치로 제격이다.

최근 AI 모델 개발에서는 훈련보다 추론이 더 중시되고 있다. AI 모델이 대규모언어모델(LLM)에서 스스로 판단하고 이행하는 에이전틱 AI로 진화하면서 추론 성능이 중요해졌다. 광범위한 학습에서는 병렬 연산에 최적화된 GPU, 대용량 메모리가 필요한 반면 추론은 속도와 효율성이 생명이기 때문에 경량 연산에 특화된 신경망처리장치(NPU)와 가벼운 메모리가 필요하다. AI 챗봇처럼 여러 요구를 빠르게 처리해야 하는 모델에서는 SRAM을 찾을 수밖에 없다.

세레브라스 WSE-3. 사진 제공=세레브라스

웨이퍼를 잘게 잘라서 칩을 만드는 다른 제조사들과 달리 세레브라스는 반도체 웨이퍼 전체를 하나의 거대한 칩으로 만드는 ‘웨이퍼스케일엔진’(Wafer Scale Engine·WSE) 기술을 쓴다. 타사는 GPU나 맞춤형 반도체에 외부 메모리를 연결하는 반면 이 회사는 웨이퍼에 칩과 메모리를 모두 올린다. 칩 하나에서 연산과 메모리를 모두 이용할 수 있기 때문에(온칩 메모리) 데이터가 오가는 거리가 짧고 전력 소모도 적다. 병목 현상도 발생하지 않아 데이터 처리 속도도 높일 수 있다. 세레브라스는 2024년 11월 자사 제품 속도가 GPU의 75배를 기록했다고 밝혔다.

그록도 SRAM을 썼다. 엔비디아가 200억 달러(29조 원)을 들여 그록을 우회 인수한 이유도 GPU는 부피가 크고 비싼 HBM을 쓰는 반면 그록은 빠르고 가벼운 SRAM을 쓴다는 점에 주목했기 때문이다. 공급 부족으로 가격이 급등한 HBM을 보완 또는 대체할 수 있다. 그록을 창업한 조나단 로스는 지난해 7월 CNBC 인터뷰에서 엔비디아 칩은 공급사가 제한적인 HBM과 같은 고가 부품을 사용하겠지만 자사 칩은 그렇지 않다면서 차별점을 강조했다.

이같은 AI 추론 칩 개발사들의 움직임은 MS에도 영향을 미쳤다. MS가 마이아200를 개발하는 과정에서 세레브라스와 그록 AI 가속기에 들어간 SRAM을 참고했다는 것이다. 로이터통신은 마이아200에 HBM 뿐만 아니라 SRAM이 동시에 들어가는 점에 주목하면서 “MS가 부상하는 엔비디아 경쟁사들의 전략을 참고해 마이아200에 SRAM을 상당량 탑재했다”고 평가했다.

※실리콘밸리Look을 구독하시면 실리콘밸리 기술·투자·창업 정보는 물론 재미있는 읽을거리도 받아보실 수 있습니다.

실리콘밸리=김창영 특파원 kcy@sedaily.com