AI가 더 빠르고 정확해진다… 차세대 반도체 쏟아져

‘포스트 엔비디아’ NPU 주목

그래픽=백형선

국내 인공지능(AI) 반도체 스타트업 퓨리오사AI가 27일 미국 실리콘밸리에서 열린 반도체 콘퍼런스 ‘핫칩스2024′에서 차세대 제품을 공개했다. ‘레니게이드(RNGD)’라는 이름이 붙은 이 AI 반도체는 방대한 데이터 사이에서 사용자가 원하는 답을 빠르게 찾는 ‘추론’에 특화돼 있다. 모든 AI 반도체는 기본적으로 데이터를 배우는 ‘학습’과 이를 바탕으로 해답을 내는 ‘추론’의 기능을 모두 한다. 하지만 반도체 설계에 따라 학습과 추론 중 한 영역에 더 뛰어난 성능을 보인다. 세계 최대 AI 반도체 회사인 엔비디아의 AI 반도체는 ‘학습’에 좀 더 특화돼 있다. 백준호 퓨리오사AI 대표는 “최근 AI 모델에선 ‘학습’보다 ‘추론’이 더 중요해지고 있다”며 “내년 1분기부터 본격적으로 양산되는 우리 제품은 엔비디아 AI 반도체와 비교해 전력 대비 성능이 60% 뛰어나다”고 말했다.

AI 반도체 시장에서 추론에 특화된 반도체가 본격적으로 등장하고 있다. 대표적인 제품이 신경망 처리 장치(NPU) 반도체다. NPU는 5~6년 전부터 개발돼 왔지만, 최근 본격적인 양산 단계에 돌입하면서 AI 반도체에서 새로운 시장을 만들고 있다. 파이낸셜타임스(FT)는 “엔비디아가 장악하고 있는 수십억달러짜리 AI 반도체 시장을 뚫기 위해 스타트업들이 성능이 뛰어난 신제품을 줄줄이 출시하고 있다”며 “챗봇과 생성AI 앱이 더욱 대중화되면서 AI ‘추론’에 대한 수요가 기하급수적으로 증가할 것이라는 기대가 나온다”고 보도했다.

그래픽=백형선

◇‘추론’ 반도체의 시간이 온다

추론 반도체가 주목받는 가장 큰 이유는 우선 엔비디아의 AI 반도체가 너무 비싸기 때문이다. AI 반도체는 성능과 용도에 따라 학습용과 추론용으로 나뉜다. 학습용 반도체는 GPT나 제미나이 같은 거대언어모델(LLM)을 학습시키고 개발할 때 주로 사용된다. GPU(그래픽처리장치)가 들어가는 엔비디아의 AI 가속기가 대표적이다. 방대한 데이터를 단순 연산으로 처리하는 데 최적이라는 평가를 받는다.

학습용 반도체는 초창기 AI 개발에 있어서 뛰어난 성능을 발휘하지만 엔비디아의 칩이 너무 비싼 데다가, 전력 소모도 많아 AI 기업들은 대체품을 찾기 위해 열을 올리고 있다. 테크 업계 관계자는 “현재 고가의 엔비디아 GPU를 기반으로 한 AI 시스템은 막대한 전력 소모 때문에 지속 가능하지 않다”며 AI에 특화된 저가격, 저전력의 새로운 AI 반도체가 주목받을 것”이라고 말했다.

반면 추론용 반도체는 개발된 AI 모델을 바탕으로 챗봇이나 이미지 생성 등 실제 서비스나 앱을 구동할 때 쓰인다. 연산 성능은 학습용에 비해 다소 떨어지지만 비용과 전력 효율이 뛰어나다. 오픈AI의 GPT 같은 ‘만능 AI’를 의료용·법률용 AI 등으로 변경해 서비스를 제공할 때, 최적의 답을 빠르게 찾을 수 있게 하는 역할을 한다. 특히 NPU가 AI 작업에 최적화됐다고 평가를 받으며 대표적 추론용 반도체로 꼽힌다. NPU는 인간 뇌가 수많은 신경세포가 서로 연결돼 신호를 주고받으며 작동하는 것과 같은 원리가 적용된 반도체다. NPU를 중심으로 아예 언어 모델에 특화된 언어처리장치(LPU), 지능처리장치(IPU), 데이터처리장치(DPU) 등도 추론용 반도체로 등장하고 있다.

◇토종 AI 반도체 유니콘 나올까

수년 동안 연구·개발 단계였던 추론용 반도체는 최근 시장에 본격적으로 나오고 있다. 글로벌 AI 반도체 업계에선 영국의 그래프코어, 미국의 세레브라스, 삼바노바 등이 벌써 기업가치 10억달러 이상의 유니콘으로 인정받으며 신제품을 속속 내놓고 있다. 세레브라스는 이날 A4 용지 크기로 세계 최대 규모의 AI 반도체인 WSE-3칩을 기반으로 하는 새로운 ‘세레브라스 인퍼런스’ 플랫폼을 발표했다. 세레브라스는 자사 설루션이 AI 추론 분야에서는 엔비디아 칩보다 20배 빠르면서 가격은 훨씬 싸다고 주장한다. 이 회사 앤드루 펠드먼 CEO는 “고릴라(엔비디아)를 이기는 방법은 훨씬 더 나은 제품을 시장에 내놓는 것”이라며 “더 좋은 제품이 보통 승리하고 우리는 의미 있는 고객을 확보했다”고 말했다. 이 밖에 그로크, 디매트릭스 등이 수억달러 투자를 받으며 성장하고 있다.

한국에서도 엔비디아에 도전하는 AI 반도체 스타트업들이 적극적으로 추론용 반도체를 내놓고 있다. 사피온과 최근 합병해 국내 대표 AI 반도체 회사가 된 리벨리온이 대표적이다. 리벨리온은 AI 반도체 아톰 양산에 이어 올해 말에는 LLM을 지원하는 차세대 AI 반도체 리벨을 선보일 예정이다.

☞NPU

신경망처리장치(NPU·Neural Processing Units)로 인간의 두뇌를 모방한 인공지능(AI) 반도체다. 인간 뇌가 수많은 신경세포가 서로 연결돼 신호를 주고받으며 작동하는 것과 같은 원리가 적용됐다. 인터넷 연결 없이도 실시간으로 빠르게 데이터를 처리하기 때문에, 학습한 데이터를 바탕으로 새로운 해답을 내놓는 추론 기능이 뛰어나다.