[#Let's 스타트업] 초거대 인공지능 특화 연산 프로세서 만든다

하이퍼엑셀

"초거대 생성형 인공지능(AI)에 특화된 새로운 반도체로 신시장을 만들겠다." 최근 기자와 만난 김주영 하이퍼엑셀 대표(사진)는 이같이 말했다. 김 대표는 KAIST 전기전자공학부 교수로 재직하면서 올해 회사를 창업했다. 그는 "AI 가속기(반도체)를 만드는 기존 국내외 회사들이 있지만 챗GPT가 사용하는 초거대 모델이 떠오르기 전 설계된 것"이라며 "하이퍼엑셀은 트랜스포머 기반 초거대 생성 모델에 특화된 프로세서인 LPU(Latency Process Unit)를 만들고 있다"고 설명했다. 김 대표는 "거대 모델 연산에 가장 중요한 메모리 대역폭을 최적화하고 실시간 생성형 AI 연산에 특화된 로직을 집적한 새로운 반도체를 만들 것"이라고 강조했다.

그는 2012~2019년 미국 시애틀의 마이크로소프트(MS) 본사에서 일하며 애저 클라우드 데이터센터에 FPGA(프로그래밍이 가능한 반도체의 일종) 가속기를 설계하고 이를 MS의 데이터센터 전반에 적용하는 업무에 참여했다. 반도체 설계 이론과 실무를 모두 아는 전문가다.

김 대표는 "창업 초기에는 데이터센터에서 곧바로 사용할 수 있는 FPGA를 사용한 LPU 가속 서버 제품을 만드는 것이 목표"라면서 "이를 통해 시장에서 레퍼런스를 쌓고 생성형 AI 특화 반도체 설계 자산(IP)을 확보하려 한다"고 설명했다. 올해 상반기에 엔비디아의 A100 솔루션 대비 가격은 절반, 전력 소비는 3분의 1로 줄이는 솔루션을 내는 것이 목표다. LPU는 AI 모델을 만드는 학습보다는 이를 서비스에 사용하는 '추론'에 집중할 계획이다.

김 대표는 "현재 거대 모델 기반 생성형 AI는 클라우드 데이터센터에서만 수행이 가능한데 머지않아 소비자들이 직접 사용하는 기기(에지)까지 내려올 것으로 본다"면서 "하이퍼엑셀은 데이터센터를 위한 서버 솔루션에 더해 에지 환경을 위한 초소형, 저전력 생성형 AI 반도체를 준비하려 한다"고 설명했다. 김 대표는 "우리가 만드는 LPU 반도체는 챗GPT가 사용하는 GPT 외에도 메타 OPT, LLaMA 등 다양한 거대 생성 모델도 수행 가능하다"고 말했다.

[이덕주 기자]