국산 NPU 기술로 챗GPT 성능 60% 높인다

KAIST, NPU AI 연산 효율화
전력 소모량 GPU 대비 44%

KAIST 연구팀이 개발한 국산 NPU 기술을 설명한 그림. 사진 제공=KAIST

[서울경제]

챗GPT 성능을 60% 이상 높일 수 있는 국산 인공지능(AI) 반도체 기술이 개발됐다.

한국과학기술원(KAIST)은 박종세 전산학부 교수 연구팀이 김주영 전기및전자공학부 교수 창업기업 하이퍼엑셀과 함께 챗GPT 같은 생성형 AI 서비스에 특화한 고성능·저전력 신경망처리장치(NPU) 핵심 기술을 개발했다고 4일 밝혔다. 연구성과는 지난달 21일 일본 도쿄에서 열린 ‘2025 국제 컴퓨터구조 심포지엄(ISCA)’에서 발표됐다.

NPU는 AI 연산에 특화한 반도체다. 현재 엔비디아가 독점하는 그래픽처리장치(GPU)의 대안이 될 것으로 기대받으며 리벨리온·퓨리오사AI 등 국내 기업들이 기술 국산화를 추진하고 있다. 이런 가운데 연구팀이 개발한 NPU 기술은 최신 GPU와 비교해 생성형 AI 모델의 추론 성능을 평균 60% 이상 높이는 동시에 전력 소모는 44% 수준으로 낮출 수 있는 것으로 나타났다.

연구팀은 추론 과정에서 경량화를 통해 정확도 손실을 최소화하면서도 메모리 병목 문제를 해결해 대규모 생성형 AI 서비스의 성능을 개선하는 데 성공했다. GPU는 높은 메모리 대역폭과 메모리 용량 요구를 충족하기 위해 다수가 필요한 반면 이번 기술은 적은 NPU만으로도 동일 수준의 AI 인프라를 구현할 수 있다.

박 교수는 “추론 정확도를 유지하면서 메모리 요구량을 줄이는 경량화 기법과 이에 최적화한 하드웨어 설계를 결합해 최신 GPU 대비 평균 60% 이상 성능이 향상된 NPU를 구현했다”며 “데이터센터뿐 아니라 능동적인 실행형 AI인 ‘에이전틱 AI ’등으로 대표되는 AX(AI 전환) 환경에서도 핵심 역할을 할 것으로 기대된다”고 말했다.

김윤수 기자 sookim@sedaily.com