GPU 넘어 NPU가 주목받는 이유 ··· '관건은 와트당 성능, 그리고 효율성'

[IT동아 남시현 기자] 글로벌 반도체 기업 엔비디아(Nvidia)의 주가가 5월 9일 기준 291달러를 돌파해 52주 최고가를 기록했다. 엔비디아 주가는 2021년 1월 경신한 최고가(355달러)에 다가섰고, 1년 상승률도 53.57%를 기록 중이다. 주가가 21년 1월 최고가를 경신한 이후 22년 1월에 122.08달러까지 추락했었는데, 1년 만에 다시 최고가에 근접한 것이다. 21년 엔비디아의 주가는 암호화폐 채굴로 인한 그래픽 카드 가격 상승이 견인했는데, GPU를 활용한 채굴이 막을 내리며 GPU 가격이 폭락하면서 주가도 함께 추락했다. 하지만 이번의 상승 동력은 그래픽 카드 가격이 아닌 전 세계적인 인공지능 개발 경쟁 덕분이다.

GPU, 왜 인공지능 개발의 핵심으로 떠올랐나

인공지능 개발은 반도체를 바탕으로 진행된다. 출처=셔터스톡

엔비디아가 인공지능 관련 산업의 주축으로 떠오른 이유는 그래픽 처리에 쓰이던 GPU(Graphics Processing Unit)가 인공지능 개발에 쓰이기 시작해서다. GPU는 연산을 처리하는 수천 개의 코어로 구성된 반도체로, 병렬 방식으로 연산을 처리해 그래픽 데이터를 산출한다. 2010년 초까지만 해도 GPU는 컴퓨터 그래픽 처리를 위한 용도로만 쓰였는데 , 2006년 처음으로 CPU의 응용 프로그램 계산에 GPU의 연산 처리 성능을 사용하는 GPGPU(General-Purpose computing on Graphics Processing Units, GPU 상의 범용 계산) 개념이 등장하면서 활용도가 확장하기 시작했다.

GPU가 연산 처리 용도로 쓰이면서 기존에 CPU로 진행하던 과학, 의학 등의 분야는 물론, 서버나 미디어 등 대규모 데이터 처리와 인공지능 개발을 위한 기계학습, 심화 학습(딥 러닝) 분야 등에서까지 그래픽 카드가 쓰이기 시작했다. 엔비디아가 그래픽 카드 기업에서 인공지능 기술 기업으로 거듭난 이유가 바로 GPGPU의 활용성 덕분이다.

엔비디아 A2 텐서 코어 GPU. 출처=엔비디아

엔비디아가 GPGPU의 개념을 제시한 지 17년이 지난 만큼 GPU가 인공지능 개발에 핵심 요소로 자리 잡았지만, 지난해 11월 오픈 AI가 챗GPT를 공개하면서 또 한 번 전기를 맞이한다. 그간 구글, 메타 등의 기업들은 기술적 완성도와 안정성을 이유로 인공지능 기술을 점진적으로 공개해 왔으나, 후발 주자였던 오픈AI에서 활용이 쉽고 대중성까지 갖춘 챗GPT로 인공지능 시장 선점에 나서면서 인공지능에 대한 대중의 관심이 대단히 높아졌다.

오픈AI가 시장 선점에 나서자 인공지능에 투자해 온 기업들 역시 경쟁적으로 인공지능 기술을 공개하기 시작했고, 인공지능 개발의 핵심인 GPU가 전략 자산으로 떠올랐다. 미국 정부가 엔비디아와 AMD에 중국, 러시아에 대한 GPU 수출을 제한하는 명령을 내릴 정도다. 그만큼 GPU가 향후 미래산업에 미치는 영향력이 큰 상황이다.

범용성 좋은 GPU, 성능 좋으나 최적의 효율은 못내

GPU가 인공지능 개발에 사용되는 이유는 단순 연산을 처리하는 데 최적의 반도체라서다. 인공지능 개발은 기본적으로 많은 양의 단순 사칙 연산을 필요로 한다. CPU는 복잡한 단일 연산 처리에는 뛰어난 반면 다중 처리에는 비효율적이다. 반대로 GPU는 단순 연산을 다중으로 처리하는 데 적합한 구조라서 인공지능 개발에 쓰이는 것이다. 그렇다면 GPU는 어떤 곳에 쓰이고 있을까. 지난 3일 엔비디아가 발표한 8열 GPU 시스템인 DGX H100를 살펴봤다.

보스턴 다이내믹스의 로봇 자율주행 및 행동 개발에도 GPU가 사용되고 있다. 출처=애커BP

엔비디아 DGX H100은 보스턴 다이내믹스 산하 연구기관에서 로봇의 자율 주행 및 행동에 대한 연구에 활용되며, 존스홉킨스 대학교 응용물리학 연구소에서도 대규모 언어 모델 훈련에도 쓰인다. 영국 스타트업 ‘시세로(Scissero)’는 법률 처리용 GPT 기반 챗봇 구현을 위해 쓰고, 독일의 번역기술 기업 딥엘(DeepL)은 다수의 DGX H100를 도입해 번역 기능을 고도화할 방침이다. 이외에도 슈퍼컴퓨터 제어나 언어 분석, 의료 및 학술 기관에서도 DGX H100 시스템을 도입할 예정이다.

이처럼 GPU는 연산 처리의 최적화를 통해 대용량 데이터 처리가 필요한 다양한 산업군에서 범용성 있게 활용되며, 기술력도 생산성 모두 검증됐다는 장점이 있다. 하지만 GPU가 단순 연산 처리에 최적화된 구조인 까닭에 특정 인공지능 개발 환경에 부적합하다는 한계가 있고, 또 전력 소모량과 비용이 높다는 게 단점이다. 범용성과 성능은 좋으나, 투자 대비 효율이 떨어진다.

NPU, 인공지능 개발에 초점 맞춘 전용 반도체

퓨리오사 AI의 인공지능 처리용 반도체, 워보이(Warboy). 출처=퓨리오사 AI

그래서 등장한 게 인공지능 처리에 특화된 반도체, 신경 처리 장치(Neural Processing Unit, 이하 NPU)다. NPU는 GPU와 마찬가지로 병렬 처리에 최적화된 구조로 되어있으나, 인공지능을 개발하는데 필요한 제어 및 산술 논리 구성 요소를 갖춰 인공 신경망과 같은 예측 모델에서 기계 학습, 심화 학습 알고리즘을 실행하는데 최적화돼 있다. 덕분에 GPU와 동일한 인공지능 작업이 주어질 때, GPU 대비 전력 소모는 적고 더 많은 결과물을 산출한다.

퓨리오사 AI의 워보이는 동급 열설계 전력의 엔비디아 A2 텐서 코어 GPU와 비교해 특정 테스트에서 앞선 모습을 보여준다. 출처=퓨리오사 AI

올해 1분기 양산을 시작한 퓨리오사 AI의 NPU, ‘워보이(Warboy)’와 동급의 열 설계 전력을 갖춘 ‘엔비디아 A2 텐서 코어 GPU’를 비교한 자료를 살펴봤다. AI 가속기의 성능을 변별력 있게 시험하는 MLPerf v2.0 테스트 중 ‘오프라인 상태에서의 물체 처리 감지율’ 항목을 살펴보면, 엔비디아 A2가 4천856점을 획득할 때 워보이는 8천762점을 획득한다. 제품 가격 대비 객체 감지 성능을 고려하면 워보이의 투자 대비 성능이 세 배 가량 높다.

퓨리오사 AI 관계자는 "엔비디아 A2로 만 대 규모의 서버를 구축했을 때, 워보이는 5천542대의 서버로 동일한 데이터를 처리할 수 있다. 전력 소비량은 매달 8.9MWh (서버당 2KW 전력 소모 기준)를 줄일 수 있고, 전력량에 비례해 총 운영비용은 매달 1천700만원을 줄일 수 있다”고 설명했다.

이미지 처리에 대한 최적화를 통해 다른 엔비디아 GPU와 비교해 와트당 이미지 처리량이 많다. 출처=퓨리오사 AI

인공지능 처리에 투입되는 와트당 성능도 NPU가 우세하다. 몇 년 전부터 인공지능 업계는 학습에 필요한 데이터를 압축해서 처리하거나, 여러 채널 중 중복 데이터만 처리하는 등의 기법을 사용하고 있다. 학습 및 추론 속도를 높이기 위한 목적도 있으나, 데이터 처리 자체가 곧 시간과 자본이기 때문이다. 하지만 GPU는 설계 구조상 새로운 모델을 효율적으로 운용하기 어려운 반면, NPU는 알고리즘을 반영해 효율적으로 구동된다. 엔비디아 A100이 1와트당 2.1매, 엔비디아 A2가 5.8매의 이미지를 처리할 때, 워보이는 1와트당 8.5매의 이미지를 처리할 수 있다.

‘투자 대비 효율’ 중요해질수록 NPU 도입 대세 될 것

엔비디아의 DGX H100 시스템, 범용적인 용도를 제공하지만 그만큼 비용 부담이 커지는 상황이다. 출처=엔비디아

GPU가 다각적으로 활용할 수 있는 인공지능 개발 도구인 건 맞지만, 다양한 활용도 자체가 역으로 발목을 잡고 있다. 엔비디아 DGX H100 등 GPU 기반 도구의 성능 상한선은 높으나, 매달 임대 비용이 3만 7천 달러(한화 약 4천900만 원대) 수준에 이른다. 이베이에서 판매되고 있는 엔비디아 H100 의 가격도 지난해까지 3만 6천 달러(약 4천700만 원대) 선이었지만 현재 4만 5천달러(약 6천만 원대)까지 상승했다. 생성형 인공지능 용도로 GPU 수요가 증가하는 데다가, 다양한 분야에서 GPU를 필요로 하는 만큼 가격은 꾸준히 오를 수밖에 없을 것이다.

반대로 NPU는 인공지능 개발에 최적화된 설계를 갖추고 있으며, 동급의 GPU보다 처리 속도도 높고, 전력 소모대 성능비도 우수하다. 다목적이라는 이유로 수요가 몰려 가격이 오르는 GPU와 달리, 목적에 맞게 제품을 구매하면 되니 가격경쟁력도 충분하다. 물론 수십 년 간 개발되어 온 GPU와 다르게 이제 막 발돋움한 분야라 갈 길은 멀지만, 앞으로 많은 부분에서 GPU의 역할을 대신할 것이라는 의견은 우세하다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)