"커지는 생성형AI 시장 … 최적화된 AI 반도체로 존재감 드러낼 것"

김주영 하이퍼엑셀 대표
생성형 AI 반도체 개발나서
메타 라마3 구동시키는데 성공
미들사이즈·온디바이스 겨냥
맞춤형 칩 개발해 시장 공략

"향후 생성형 인공지능(AI) 시장은 범용 AI와 대규모언어모델(LLM), 작은 크기의 sLLM 등으로 나뉠 것으로 보입니다. 하이퍼엑셀이 가진 기술은 초거대뿐 아니라 미들 사이즈, 온디바이스 시장에서 존재감을 드러낼 수 있습니다."

생성형 AI 시대, 한국에서도 여러 AI 반도체 스타트업이 성장하고 있다. 그중 하이퍼엑셀은 생성형 AI와 같은 LLM에 최적화된 AI 반도체를 개발하고 있는 기업이다. 올해 초 국내 최초로 LLM을 위한 AI 반도체를 4㎚(나노미터·10억분의 1m) 공정으로 개발하는 데 성공한 하이퍼엑셀은 지난달 메타의 생성형 AI인 '라마3'를 자사가 개발한 AI 서버로 구동시키기도 했다. 역시 국내 AI 반도체 기업 중 최초 성과다.

김주영 하이퍼엑셀 대표는 최근 매일경제 인터뷰에서 "하이퍼엑셀이 개발 중인 AI 반도체 'LPU'는 LLM 특화 반도체로, LLM 추론 연산에 가장 중요한 메모리 대역폭을 극대화해 활용할 수 있는 프로세서"라며 "예를 들어 그래픽처리장치(GPU)가 주어진 대역폭의 60%밖에 활용하지 못한다면 LPU는 90% 가까이 활용할 수 있다"고 설명했다.

챗GPT와 같은 AI 모델은 정보를 학습하고 처리하는 연산량이 상당하다. 이에 대응하는 하드웨어는 엔비디아의 GPU가 유일했다. 다만 GPU가 챗GPT와 같이 생성형 AI 모델인 LLM에 최적화된 것은 아니다. GPU 가격이 비싸고 전력 소모량이 큰 만큼 이를 구축하려면 천문학적인 비용이 필요했다. 일부 빅테크 기업만이 생성형 AI를 구축하고 서비스를 할 수 있는 이유다.

김 대표는 "LLM의 추론에 최적화된 AI 반도체를 개발한다면 시장성이 있다고 봤다"며 "이러한 생각으로 프로세서 내부 실대역폭을 높인 AI 반도체를 개발했다"고 말했다.

그는 "GPU를 이용해 AI에 추론을 시킬 수 있지만 가격, 발열, 전력 등을 고려하면 좋은 선택은 아니라고 생각한다"며 "GPU보다 저렴한 가격으로, LLM 추론에 최적화된 AI를 개발하면 많은 기업이 관련 서비스를 적은 비용으로 보다 효율적으로 할 수 있다"고 덧붙였다.

하이퍼엑셀은 자사가 개발 중인 LPU 8개를 탑재한 서버 '오리온'을 지난해 공개한 바 있다. 하이퍼엑셀에 따르면 오리온은 챗GPT의 LLM 연산에 사용되는 고성능 GPU 대비 가격 효율성이 2.4배가량 높음을 입증해 지난해 7월 '국제반도체설계자동화학회'에서 '공학 부문 최고 발표상'을 수상하기도 했다. 이어 올해 초에는 이를 4㎚ 공정으로 반도체화하는 데 성공한 뒤 이 성과를 올해 초 국제 반도체 학술대회인 ISSCC 2024에서 발표했다.

이어 하이퍼엑셀은 메타의 생성형 AI '라마3'를 자사가 개발한 AI 서버로 구동하는 데 성공하는 등 잇달아 성과를 내고 있다. 특히 하이퍼엑셀이 개발한 AI 서버 오리온으로 라마3를 구동한 결과 생성형 AI의 답변 속도가 메타 서비스 대비 30~50% 향상됐음을 확인했다. 라마가 엔비디아의 GPU를 활용하고 있는 만큼, 하이퍼엑셀의 기술이 GPU 못지않은 성능을 가지고 있음을 선보인 것이다.

하이퍼엑셀을 설립한 김 대표는 2012년부터 2019년까지 마이크로소프트(MS) 하드웨어 엔지니어로 일했다. 이후 KAIST 교수로 부임한 뒤 하이퍼엑셀을 설립했다. 현재 KAIST AI반도체시스템연구센터 센터장을 맡고 있다.

[원호섭 기자]