"GPU 가격 버겁다"… 日 '탈 엔비디아'에 한국 NPU 주목

그래픽처리장치(GPU) 시장을 독점하고 있는 엔비디아의 높은 가격 장벽으로 인해 일본 인공지능(AI) 업계가 대안 찾기에 나섰다. 이 과정에서 신경망처리장치(NPU)를 비롯한 대체 기술이 주목받으며 국내 AI 반도체 기업에 새로운 기회가 열릴 수 있다는 분석이 나온다.

15일 니혼게이자이신문(닛케이)에 따르면 최근 일본에서는 AI 데이터센터 구축 수요가 급증하면서 수억 원에 달하는 엔비디아 서버 도입 비용이 새로운 부담으로 떠올랐다. 이에 따라 GPU를 대체하거나 활용 효율을 높일 수 있는 기술에 대한 관심이 커지고 있다. 단순히 GPU를 다른 반도체로 교체하는 데 그치지 않고 메모리 최적화를 통해 GPU 활용도를 높이거나 가격과 전력 소비를 줄인 AI 특화 반도체를 도입하려는 움직임이 확산되는 모습이다.

이 같은 수요에 맞춰 글로벌 AI 인프라 기업들도 일본 시장 공략에 속도를 내고 있다. 미국 펭귄솔루션즈의 일본 법인은 GPU의 메모리 병목 현상을 개선하는 '메모리 AI KV 캐시 서버'를 연내 일본 시장에 선보일 계획이다. 메모리 병목은 GPU의 연산 성능을 메모리의 데이터 전송 속도와 용량이 따라가지 못해 전체 시스템 효율이 떨어지는 현상이다. 이 솔루션은 대규모언어모델(LLM)이 사용하는 KV 캐시를 GPU 외부 메모리에 저장해 GPU 사용량을 줄이고 비용 효율을 높이는 것이 핵심이다.

국내 AI 반도체 스타트업 리벨리온도 일본 진출을 가시화 하고 있다. 닛케이에 따르면 일본 반도체 유통기업 토멘디바이스는 현지 AI 기업과 함께 리벨리온의 NPU를 탑재한 서버 실증을 시작했다. NPU는 AI 모델 학습보다 실제 서비스 단계의 추론 연산에 특화된 반도체로 GPU보다 전력 효율과 가격 경쟁력이 높은 것이 강점이다.

업계에서는 AI 산업의 중심축이 모델 학습에서 추론으로 이동하면서 NPU 수요도 함께 확대될 것으로 보고 있다. GPU가 대규모 AI 모델 학습의 핵심 역할을 유지하는 가운데 추론 분야에서는 NPU와 자체 AI 반도체, 메모리 최적화 기술 등이 새로운 선택지로 떠오르며 AI 반도체 시장의 경쟁 구도도 한층 다변화될 것으로 전망된다.

김세은 인턴기자 senii@hankyung.co