“HBM 팔아 엔비디아 배불리네”…‘K-NPU’로 의존 끊을까

“엔비디아 중심 AI 인프라”…추론 비용 급증에 구조 전환
정부·IT업계 ‘AI 풀스택’ 승부수…“올해·내년이 골든타임”
‘쿠다 생태계’ 장벽 여전 …“기술 난도 극복할 차세대 풀스택 절실”

지난해 12월11일 서울 여의도 산업은행에서 열린 국민성장펀드 출범식에서 박상진 한국산업은행 회장(왼쪽 네번째부터), 이억원 금융위원장과 박현주 미래에셋 회장, 서정진 셀트리온 회장 등이 기념 세리머니를 하고 있다. 연합뉴스

국내 반도체 산업이 메모리 중심의 수익 구조에서 벗어나기 위한 대대적인 체질 개선에 돌입했다. 한국은 삼성전자와 SK하이닉스를 필두로 고대역폭메모리(HBM) 등 글로벌 메모리 시장을 주도하고 있지만, 정작 인공지능(AI) 연산의 핵심인 시스템 반도체 분야는 철저히 수입에 의존하고 있기 때문이다. 이 같은 기형적 구조를 타파하기 위해 정부와 통신·IT 업계가 토종 신경망처리장치(NPU) 육성이라는 강력한 승부수를 던졌다.

“메모리만 강국, 연산은?”…엔비디아 청구서 딜레마

13일 산업계에 따르면 삼성SDS, LG CNS, 포스코DX, 롯데이노베이트 등 주요 IT서비스 기업들은 최근 국산 NPU를 도입하거나 기존 GPU 인프라와 병행하는 ‘하이브리드’ 전략을 확대하고 있다.

현재 국내 데이터센터 서버를 채우고 있는 AI 연산용 GPU의 90% 이상은 미국 엔비디아 제품이다. 기업들은 고가의 GPU 의존도를 낮추기 위해 상대적으로 가격과 전력 효율이 높은 NPU를 대안으로 검토하고 있다.

이 같은 변화의 배경에는 AI 산업의 패러다임 변화가 있다. 과거에는 대규모 데이터를 학습시키는 ‘훈련(Training)’이 중심이었다면, 최근에는 실제 서비스에서 사용자에게 실시간으로 답변을 제공하는 ‘추론(Inference)’ 단계로 무게 중심이 이동했다. 업계는 전체 AI 운영 비용의 최대 70%가 이 추론 과정에서 발생하는 것으로 추산한다.

업계와 전문가들은 추론 중심 구조에서 GPU보다 NPU가 전력 효율과 비용 경쟁력 측면에서 유리하다고 본다. 유회준 카이스트 전기전자공학부 석좌교수는 “NPU는 AI 사용할 때 GPU에서 필요 없는 기능을 제거한 연산처리장치”라며 “상대적으로 수급도 용이하고 전력도 훨씬 적게 들기 때문에 기업들이 NPU로 전환하는 것”이라고 설명했다.

정태호 국정기획위원회 경제1분과장이 지난해 6월25일 경기도 성남시 분당구 AI 반도체 설계 스타트업 리벨리온을 방문해 박성현 리벨리온 대표로부터 리벨리온의 NPU 카드를 탑재해 실제 데이터센터에서 운용되는 서버 랙 구성의 설명을 듣고 있다. 공동취재단

정부는 2500억원 수혈·IT기업 NPU 투입…속도 내는 K-NPU

엔비디아 의존도를 낮추기 위해 민간뿐 아니라 국가도 팔을 걷어붙였다. 단순한 연구개발(R&D) 지원을 넘어 기업의 생존과 직결되는 대규모 자금 수혈에 직접 나선 것이다.

금융위원회는 지난 3월 국민성장펀드를 통해 국내 반도체 설계기업(팹리스) 리벨리온에 2500억원을 직접 투자하기로 결정했다. 민간 자금까지 포함하면 총 6000억원 규모다. 앞서 정부는 ‘K-엔비디아’로 불리는 AI 반도체 자립 전략을 추진하며, 향후 5년간 AI·반도체에 50조원을 투입하겠다는 청사진을 밝히기도 했다.

과학기술정보통신부는 올해와 내년을 국내 AI 반도체 산업의 ‘골든타임’으로 보고, 연구개발을 넘어 실제 서비스 적용까지 이어지는 실증 사업 확대에 집중하고 있다. 이강용 과기정통부 과장은 “NPU가 양산 단계에 진입한 지금이 산업 안착의 결정적 시기”라며 "우리 기술로 서비스가 실제로 돌아가는 것을 보여주는 대규모 시범 사업을 추진할 것”이라고 말했다.

산업 현장의 상용화 움직임도 분주하다. 삼성SDS는 AI 반도체 기업 퓨리오사AI가 개발한 2세대 NPU ‘레니게이드’를 오는 7월부터 자사 클라우드 플랫폼에 구독형 서비스(NPUaaS)로 연동할 예정이다. 고객이 필요한 만큼 구독 형태로 사용하는 방식으로, 국내 클라우드 환경에서 국산 AI칩이 실제 서비스로 적용되는 첫 사례다.

SK텔레콤은 글로벌 팹리스 기업 암(Arm), 리벨리온과 손잡고 AI 데이터센터 인프라 혁신에 나섰다. 범용 처리는 중앙처리장치(CPU)에, 추론 연산은 NPU에 맡겨 전력 효율을 극대화하는 방식이다. 이재신 SKT AI 사업개발 담당은 “추론에 최적화된 인프라와 독자 파운데이션 모델 A.X K1을 결합한 풀 패키지를 제공함으로써 AI 데이터센터 경쟁력을 더욱 강화해 나가겠다”고 말했다.

포스코DX는 모빌린트와 협력해 산업용 제어 시스템에 NPU를 적용하고 있으며, 롯데이노베이트는 딥엑스와 함께 지능형 CCTV에 저전력 NPU를 도입하는 프로젝트를 추진 중이다. LG CNS 역시 퓨리오사AI와 협력해 NPU 기반 AI 플랫폼 실증에 나섰다.

만만치 않은 ‘쿠다’의 벽…하드웨어 넘는 ‘풀스택’ 전략 절실

다만 넘어야 할 장벽도 분명하다. 엔비디아가 수십 년간 쌓아 올린 소프트웨어 생태계 ‘쿠다(CUDA)’의 진입장벽이 너무 높기 때문이다. 개발자들은 쿠다를 중심으로 한 소프트웨어 플랫폼과 NVLink 기반 네트워크 등 엔비디아의 풀스택 환경에 익숙해져 있어, 이를 벗어나는 전환 자체가 적지 않은 부담으로 작용한다.

네이버클라우드 관계자는 “검증된 GPU 환경에서 새로운 NPU로 전환하는 것은 기술적 난도가 매우 높다”며 “엔지니어들에게 NPU를 사용하라고 하면 쉽게 움직이지 않는다”고 지적했다.

글로벌 빅테크의 자체 칩도 변수다. 구글 TPU, 아마존 트레이니엄, 메타 MTIA 등은 이미 내부 수요를 기반으로 시장을 확장하고 있다. 국산 NPU는 엔비디아뿐 아니라 이들과도 경쟁해야 하는 상황이다.

전문가들은 단일 칩 성능 경쟁을 넘어선 '풀스택(Full-Stack)' 전략만이 살길이라고 입을 모은다. 하드웨어 설계뿐만 아니라 소프트웨어와 네트워크망까지 하나로 묶는 촘촘한 생태계 구축이 필수적이라는 조언이다.

이진호 서울대 전기·정보공학부 교수는 “트랜스포머 모델이 GPU 구조에 맞춰 선택된 것처럼 NPU에 최적화된 차세대 모델을 선제적으로 개발해야 한다”며 “하드웨어, 소프트웨어, 연결 기술을 동시에 공략해야 생태계가 다음 단계로 이동할 수 있다”고 강조했다. 이어 “큰 모델을 처리하기 위해서는 다수의 NPU를 함께 사용할 수밖에 없다. 칩 간 데이터 이동과 협업을 효율적으로 처리하는 기술이 핵심 경쟁력이 될 것”이라고 덧붙였다.

이혜민 기자 hyem@kukinews.com