KAIST, 엔비디아 2.3배 뛰어넘는 AI 가속기 개발

KAIST, CXL-GPU 장치의 메모리 성능 개선
기존보다 2.36배 빠른 서비스..구축비용 절감

KAIST는 GPU의 메모리 확장 기술의 읽기·쓰기 성능을 최적화해 기존보다 2.3배 빠른 속도로 대규모 AI 서비스를 구현할 수 있는 AI 가속기 기술을 개발했다. KAIST 제공

KAIST가 개발한 CXL-GPU 구조 개념도로, 메모리의 읽기·쓰기 성능 저하를 막아 AI 서비스 속도를 기존보다 2.36배 향상시킬 수 있다.

국내 연구진이 엔비디아의 그래픽처리장치(GPU)보다 2.3배 빠른 속도로 대규모 AI 서비스를 구현할 수 있는 고성능 중앙처리장치(CPU) 기술을 개발했다. 기존 GPU의 메모리 확장 기술의 성능을 개선함으로써 대규모 AI 학습·추론 시스템 구축 비용 절감에 기여할 것으로 기대된다.

KAIST는 정명수 전기·전자공학부 교수 연구팀은 차세대 인터페이스 기술인 'CXL(컴퓨터 익스프레스 링크)'이 활성화된 고용량 GPU 장치의 메모리 읽기·쓰기 성능을 최적화하는 AI 가속기 기술을 개발했다고 8일 밝혔다.

AI 가속기는 대량의 데이터를 빠르게 처리하고, AI 모델의 학습과 추론 속도를 높이기 위해 설계된 하드웨어로, 그래픽처리장치와 신경망처리 등이 대표적이다. 현재 고성능 AI 반도체 수요가 급증함에 따라 엔비디아의 GPU가 AI 가속기 시장을 거의 독점하고 있다.

최근 대규모 AI 언어모델이 각광을 받으면서 단일 GPU 용량만으로 AI 학습과 추론에 한계가 있어 GPU 여러 대를 연결하는 방식으로 메모리를 확장하고 있다. 하지만, CPU 가격이 급등하면서 비용 부담이 급격히 커지는 문제가 있다.

이를 위해 차세대 인터페이스 기술인 CXL을 활용해 대용량 메모리를 GPU에 직접 연결하는 CXL-GPU 구조 기술 도입이 검토되고 있으나, GPU에 직접 연결된 메모리 확장 장치로 메모리 읽기 성능이 떨어지는 한계가 있었다.

연구팀은 메모리 확장 장치가 메모리 쓰기 타이밍을 스스로 결정할 수 있는 기술을 개발, GPU 장치가 메모리 확장 장치에 쓰기 작업을 요청하면서 동시에 쓰기를 수행하도록 설계함으로써 CXL-GPU 장치의 메모리 읽기·쓰기 성능 저하를 막았다. 또한 메모리 확장 장치가 사전에 메모리 읽기를 수행할 수 있도록 미리 힌트를 주는 방식으로 메모리 읽기 속도를 높였다. 연구팀은 반도체 팹리스 스타트업인 파네시아의 초고속 CXL 컨트롤러와 CXL-GPU 프로토타입을 활용한 기술 검증에서 기존 GPU 메모리 확장 기술보다 2.36배 빠른 속도로 AI 서비스를 실행하는 것을 확인했다.

정명수 KAIST 교수는 "CXL-GPU의 시장 개화 시기를 앞당겨 대규모 AI 서비스를 운영하는 빅테크 기업의 메모리 확장 비용을 획기적으로 낮추는 데 기여할 것"이라고 말했다. 이 연구결과는 이달 미국 산타클라라에서 열리는 유즈닉스(USENIX) 연합 학술대회에서 발표될 예정이다.이준기기자 bongchu@dt.co.kr