하이퍼엑셀, 업스테이지 컨소시엄 통해 ‘독파모’ 합류

김주영 KAIST 부교수가 대표인 회사
“추론 전용 LPU로 전력·비용 줄일 것"

[이데일리 김현아 기자] AI 반도체 스타트업 하이퍼엑셀(HyperAccel)이 업스테이지 컨소시엄을 통해 정부 ‘독자 AI 파운데이션 모델(독파모)’ 협력 생태계에 합류한다.

하이퍼엑셀은 이번 참여를 계기로 독자 AI 모델 확산에 필요한 추론(inference) 인프라를 고도화하고 운영 효율을 높이는 협력을 추진한다는 계획이다.

하이퍼엑셀은 2023년 1월 설립된 팹리스 AI 반도체 기업으로, 김주영 대표가 회사를 이끌고 있다. 김 대표는 KAIST 전기 및 전자공학부 부교수로 활동하면서 인공지능 반도체 시스템 연구실을 운영 중이다. 과거 MS에서 반도체 설계 엔지니어로 근무하다가 글로벌 반도체 기업 AMD의 권유를 받아 하이퍼엑셀을 설립했다.

이런 ‘학계+실무’ 경험을 바탕으로, 생성형 AI가 실제 서비스로 확산되는 과정에서 가장 큰 병목으로 꼽히는 추론 비용과 전력 문제를 겨냥한 반도체를 개발해 왔다.

LPU가 뭔가

이번 협력의 핵심은 LPU다. LPU는 ‘LLM Processing Unit’의 약자로, 초거대 언어모델(LLM)을 학습시키는 단계가 아니라, 이미 학습된 모델을 서비스 환경에서 빠르고 효율적으로 돌리는 ‘추론’ 업무에 초점을 맞춘 전용 가속기를 뜻한다.

하이퍼엑셀은 LPU를 통해 LLM 추론 과정에서 발생하는 연산 병목을 줄이고, 전력 소모와 운영 비용 부담을 낮춰 고효율·저비용 AI 서비스 인프라 구현을 목표로 내세웠다.

하이퍼엑셀은 컨소시엄에서 단순 반도체 공급을 넘어, 하드웨어와 서빙(Serving) 소프트웨어를 통합한 형태로 역할을 확대하겠다고 밝혔다. LLM 추론에 특화된 LPU 설계 및 성능 고도화와 함께, vLLM·파이토치(PyTorch) 기반의 고가용성(HA) 풀스택 소프트웨어 스택을 개발·제공해 데이터센터 및 산업 서비스 환경에서 독파모 모델이 경제성과 확장성을 갖춘 형태로 운영되도록 지원한다는 구상이다.

김주영 대표는 “초거대 AI 경쟁은 모델 규모뿐 아니라 이를 얼마나 효율적으로 서비스할 수 있는지에 달려 있다”며 “LPU 기반 추론 가속 기술을 통해 국내 AI 인프라의 기술 자립과 글로벌 수준의 비용 경쟁력 확보에 기여하겠다”고 밝혔다.

김현아 (chaos@edaily.co.kr)