"빠른데 훨씬 싸다"…엔비디아 독주 막을 삼성 신무기

삼성의 NPU AI칩 승부수 '마하'…HW·SW 쌍끌이 공략
NPU 기반 AI칩 마하1…연말 양산, 네이버 공급
프루닝·양자화로 데이터 경량화…AI 추론 특화
엔비디아 맞설 SW도 준비…삼성 AI 존재감 ↑

[이데일리 김응열 기자] 인공지능(AI) 반도체 ‘춘추전국시대’가 개막했다. 엔비디아와 삼성전자 등 반도체 기업뿐 아니라 아마존, 구글에 이어 애플까지 AI 반도체 제작에 나섰다. 엔비디아 독주 속 치열한 경쟁구도에서 삼성전자가 승기를 잡으려면 추론 분야로 확산하는 AI 모델에 맞춘 특화 칩 개발과 더불어 엔비디아 개발 소프트웨어 ‘쿠다’(CUDA)에 맞서는 등 하드웨어(HW)와 소프트웨어(SW) 경쟁력을 모두 높여야 한다는 제언이 나온다.

12일 업계에 따르면 글로벌 반도체 및 빅테크 기업들은 AI 반도체 개발에 뛰어들고 있다. 인텔은 최근 AI 학습 및 추론칩 가우디3를 공개했고 마이크로소프트(MS)는 AI 모델 학습과 추론을 위한 칩 마이아 100을, 아마존은 추론칩 인퍼런시아2를 선보였다. ‘AI 지각생’으로 불렸던 애플까지 AI 추론칩 제작에 나섰다.

이는 모두 AI 반도체 시장에서 엔비디아 독주를 막기 위한 시도다. 삼성전자 역시 추론에 특화한 AI 반도체 ‘마하1’을 네이버와 개발하고 있다. 마하1은 엔비디아 그래픽처리장치(GPU)가 적용된 AI 반도체를 대신할 신경망처리장치(NPU) 기반 시스템온칩(SoC) 제품이다.

삼성의 AI 무기 ‘마하1’…데이터 압축, 추론 특화

(그래픽=김정훈 기자)

마하1의 특징은 데이터를 압축해 대폭 경량화한다는 점이다. 메모리 안에는 연산에 필요한 매개변수, 즉 파라미터(Parameter)가 저장돼 있다. 파라미터는 통상 여러 개를 묶어 하나의 덩어리로 저장하는데 이 파라미터가 많을수록 AI 정확도가 높아진다.

그러나 AI가 사용자의 특정 요청에 응답해 연산할 때 활용하는 파라미터 덩어리에는 불필요한 것도 있다. 마하1 NPU는 각 덩어리 중 연산에 필요한 파라미터만 메모리에서 불러오는 방식으로 작동해 데이터를 경량화했다. 이를 ‘프루닝’(Pruning·가지치기)이라고 한다.

양자화 기술도 마하1에 도입했다. 양자화는 정보 표현에 필요한 비트(bit·데이터 최소 단위)를 압축하는 기술이다. 데이터를 경량화하는 동시에, 중요한 데이터에는 가중치를 둬 AI 연산 정확도를 높일 수 있다.

HBM 대신 LPDDR 탑재…고객사 가격 부담↓

마하1은 데이터를 경량화하는 만큼 고대역폭메모리(HBM) 대신 저전력(LP) DDR D램을 사용한다. HBM은 범용 D램보다 비싼데 LPDDR D램을 탑재하면 그만큼 가격을 낮출 수 있다. 엔비디아 AI 반도체 H100이 5400만원대인 반면 마하1은 약 500만원으로 예상된다. 고객사로선 마하1이 전기 요금과 AI 반도체 구매가격 부담을 모두 덜 수 있는 선택지가 될 수 있다.

젠슨 황 엔비디아 최고경영자(CEO)가 지난 3월 미국 캘리포니아주 새너제이 SAP센터에서 열린 GTC2024에 참석해 차세대 AI칩 ‘B100’을 소개하고 있다. (사진=AFP)

삼성전자는 마하1을 연말 양산해 네이버에 공급할 전망이다. 네이버와 공동 개발하는 과정에서 피드백을 받으며 하드웨어 개선에 반영하고 실수요 반응을 파악해 향후 성능을 더 개선한 제품을 만들 것으로 관측된다.

김형준 차세대지능형반도체사업단장(서울대 명예교수)은 “HBM을 쓰지 않아 가격을 상당히 낮출 수 있다”며 “네이버 피드백을 받으며 제품 완성도를 높이면 AI 추론 시장에서 존재감을 보일 수 있을 것”이라고 설명했다.

빅테크와 연합, 엔비디아 쿠다 대항 SW도 개발

전문가들은 마하1의 성공을 위해 소프트웨어 대응도 필요하다고 봤다. AI 개발 소프트웨어 시장은 엔비디아 개발 프로그램 쿠다가 장악하고 있다. 쿠다는 엔비디아가 지난 2006년 무료로 배포한 개발 도구로, 엔비디아 GPU에서만 동작한다. 현재 400만명의 개발자가 쿠다를 이용하고 있다. 생성형 AI 기폭제가 된 오픈AI의 챗GPT도 쿠다를 활용해 탄생했다.

AI 개발자들, 즉 고객들이 삼성전자 마하1을 선택하려면 쿠다에 맞설 AI 개발 소프트웨어가 있어야 한다는 결론이 나온다. 구글과 인텔, 퀄컴, 삼성전자, ARM 등 주요 기업들이 ‘UXL’(통합 가속 재단)을 구성하고 신규 소프트웨어 프로젝트를 추진하는 것도 이 때문이다.

이종환 상명대 시스템반도체공학과 교수는 “AI 반도체 시장에서 치고 나가려면 하드웨어뿐 아니라 소프트웨어를 동시에 갖춰야 한다”고 강조했다.

유회준 카이스트 AI반도체대학원장은 “지금은 개발자들이 쿠다에 친숙해 엔비디아 독점이 쉽게 깨지진 않을 것”이라며 “삼성전자만의 강점을 부각해 데이터센터 외에 온디바이스AI 등 틈새시장부터 영향력을 키울 필요가 있다”고 제언했다.

삼성전자 평택 반도체 공장. (사진=삼성전자)

김응열 (keynews@edaily.co.kr)