국산 NPU, 세계 AI 반도체 시장서 성능으로 인정받다[AI스토밍]

‘챗GPT’ 같은 대형언어 활용 AI
GPU만큼 빠르고 전력 소모 적은
반도체 기판 개발 경쟁 뜨거워져

“채팅 하나당 평균 비용이 얼마인가?”

오픈AI 인공지능(AI) 챗봇인 ‘챗GPT’ 서비스의 사용자가 100만명을 넘어선 지난해 12월 초. 샘 올트먼 오픈AI 최고경영자(CEO)에게 일론 머스크 트위터 CEO가 이런 트윗을 날렸다.

대형언어모델(LLM)인 GPT-3.5를 기반으로 한 챗GPT의 운영 비용이 상상을 초월한다는 것을 잘 아는 머스크가 문제를 지적한 것이다. 올트먼이 이렇게 답했다. “아마도 채팅 하나당 한 자릿수 센트 수준일 겁니다.”

언뜻 큰 비용이 아니라고 여겨지지만, 채팅 하나당 5센트의 비용이 든다고 가정할 경우, 사용자 100만명이 한 번씩만 채팅해도 챗GPT의 서버 사용료 등 운영 비용에 5만달러(약 6600만원)가 든다는 계산이 나온다. 챗GPT는 이미 2월에 월 사용자 1억명을 돌파했다. 지난달에는 GPT-3.5보다 규모가 큰 GPT-4를 이용한 챗GPT 서비스도 선보였다. 초기에 비해 운영 비용이 최소 100배 이상 커졌다는 뜻이다. 이 비용을 줄이기 위해서는 현재 오픈AI가 이용하는 연산장치인 그래픽처리장치(GPU)보다 효율적인 AI 반도체가 나와야 한다.

6일 반도체 업계에 따르면, 챗GPT 이후 대형언어모델을 활용한 AI 서비스가 늘면서 AI 연산을 수행하는 반도체 개발 경쟁이 뜨거워지고 있다. GPU만큼 빠른 연산을 제공하면서도 전력 소모가 낮은 AI 반도체 개발이 핵심이다.

연산기능을 제공하는 대표적인 칩은 중앙처리장치(CPU)이지만, CPU는 명령어를 한 번에 하나씩 처리하다 보니 방대한 데이터를 동시에 처리하는 능력은 떨어진다. 반면 그래픽 작업을 위한 단순 연산기능을 제공해온 GPU는 명령어를 병렬로 처리할 수 있어 2010년대 중반부터 AI를 위한 작업에 사용됐다.

2016년 바둑기사 이세돌 9단과 대국한 구글 알파고의 초기 버전에서 두뇌 역할을 한 것도 176개의 엔비디아 GPU였다. 그때까지만 해도 GPU만큼 AI에 적합한 연산장치는 없다는 평가가 많았다.

그러나 AI의 규모가 커지자 상황이 바뀌었다. AI를 위해 수천~수만개의 GPU를 사용하게 되면서 GPU가 소모하는 전력량과 비용을 감당하기 어렵게 됐다. 이미지를 분류하는 AI, 번역하는 AI, 음성을 인식하는 AI 등 AI 서비스도 다양해지면서 모든 것에 능한 범용 GPU를 사용해야 할 필요도 줄었다.

예컨대 이미지를 분류하는 AI는 언어모델에 필요한 성능을 지원하는 GPU 수준을 요구하지 않는다. 이에 2020년 전후로 GPU보다 몸이 가벼워 전력을 적게 사용하면서도 특정 분야에서는 GPU와 비슷한 성능을 보이는 AI 전용 연산장치인 ‘신경망가속기(NPU)’가 등장했다. 팹리스 업체와 서버 업체들은 GPU·NPU에 CPU와 메모리 등을 탑재해 최적의 AI 반도체 기판을 만들어 경쟁을 시작했다.

‘엔비디아 GPU’의 시장 장악 속
국내 기업 리벨리온 NPU ‘아톰’
AI 하드웨어 국제 성능평가에서
이미지 처리 부문 최상위권 성적
퓨리오사·사피온도 기술력 인정

누가 최적의 AI 반도체 기판을 만드는가. 비영리기관인 엠엘커먼스는 2018년부터 비교테스트인 ‘엠엘퍼프(MLPerf)’를 진행해왔다. 구글·엔비디아·알리바바·삼성전자·하버드대 등이 모여 만든 공신력 있는 AI 하드웨어 테스트 기관이다.

이날 엠엘커먼스가 발표한 ‘엠엘퍼프 3.0’ 결과에서 3년차 국내 스타트업인 ‘리벨리온’이 만든 NPU ‘아톰’이 이미지 처리 부문에서 최상위권 성적을 거뒀다. 엔비디아·퀄컴 등 영미권 팹리스가 장악한 AI 반도체 시장에서 비영미권 스타트업이 이 같은 성과를 낸 건 드문 일이다.

엔비디아, 퀄컴, 인스퍼 등 유명 팹리스와 대형 서버업체들이 출전한 테스트에서 리벨리온은 이미지 처리 속도(싱글스트림) 부문에서 0.00024초를 기록해 최상위권(2위)에 랭크됐다. NPU 아톰을 기반으로 한 AI가 이미지 한 건을 분석하고 처리하는 데 0.00024초가 걸렸다는 뜻이다. 경쟁사 대부분이 0.0003~0.0008초대 기록을 보이는 등 차이는 컸다.

경쟁업체들은 모두 엔비디아와 퀄컴, ARM의 AI 반도체를 사용해 기판을 제작했지만, 리벨리온은 유일하게 자체 NPU를 사용했다. 리벨리온의 NPU는 챗GPT 운영을 위한 언어모델도 지원하는 것으로 확인됐다. 언어처리 속도(싱글스트림) 부문에서도 0.0043초를 기록해 준수한 성적표를 받았다. 박성현 리벨리온 대표는 “언어·이미지 처리 모델의 싱글스트림 점수가 좋다는 건 NPU 설계의 우수성을 증명하는 지표”라고 말했다.

앞서 퓨리오사AI, 사피온 등 국내 팹리스들도 엠엘퍼프 테스트에서 의미 있는 성과를 거둔 바 있다. 스타트업인 퓨리오사AI는 2021년과 지난해에 자사의 NPU인 ‘워보이’를 내보내 이미지 처리 능력을 입증했다. SK그룹 계열사인 사피온은 지난해 데이터센터 부문에 자사의 NPU ‘X220’을 출품해 서버용 NPU로서의 능력을 인정받았다. 퓨리오사AI와 사피온은 다음 세대 제품 개발이 한창이다.

다만 아직까지는 AI 반도체에서 최고인 엔비디아의 기술력을 따라가기에는 한계가 있는 게 현실이다. 리벨리온·퓨리오사AI·사피온은 AI 서버를 타깃으로 NPU를 개발했지만, 이미지 처리 등 특정 분야에서만 두각을 나타낸다. 전반적으로 고른 성적을 보이는 엔비디아의 GPU와 직접 겨루기에는 어렵다는 게 업계 중론이다.

특히 엔비디아는 AI 개발을 위한 소프트웨어인 ‘쿠다(CUDA)’를 일찌감치 보급하면서 시장을 장악했다. 많은 AI 업체들이 데이터 학습에는 엔비디아의 GPU가 장착된 서버를 활용하고, 운영할 때는 저렴한 칩이 들어간 서버를 활용한다.

이런 가운데 한국 정부도 국산 NPU칩 보급에 나서고 있다. 국내 거대 데이터센터 업체인 KT클라우드, NHN클라우드, 네이버클라우드의 일부 서버에 리벨리온, 사피온, 퓨리오사AI의 NPU를 사용하도록 해 국내 NPU 생태계를 키우겠다는 전략이다. 엔비디아 GPU에 버금가는 고성능 NPU칩 개발도 진행 중이다.

이재덕 기자 duk@kyunghyang.com