엔비디아 독주 막을까?..카이스트, 고성능 AI 가속기 관련 기술 개발

GPU-외부메모리 연결 ‘CXL-GPU’ 기술 적용
GPU 간 단순 연결보다 두 배 빠르고 비용 절감

AI가속기 개발에 참여한 카이스트 연구진 사진(앞줄 맨오른쪽 정명수 카이스트 전기및전자공학부 교수)

국내 연구진이 글로벌 AI 가속기 시장을 독점하고 있는 엔비디아(NVIDIA)에 맞설 수 있는 고성능 AI 가속기 관련 기술을 개발했다.

한국과학기술원(KAIST, 이하 카이스트)은 정명수 전기및전자공학부 교수가 이끄는 연구팀이 차세대 인터페이스 기술인 ‘CXL(컴퓨트 익스프레스 링크·Compute Express Link)’을 적용한 고용량·고성능 AI 가속기 관련 기술을 개발했다고 8일 밝혔다.

최신 그래픽처리장치(GPU)의 내부 메모리 용량은 수십 기가바이트(GB)에 불과해 단일 GPU만으로는 AI 모델을 추론·학습하는 것이 불가능하다. 일반적으로 GPU를 병렬로 여러 대 연결하는 방식을 사용하기 때문에 비용이 많이 든다.

이에 대용량 메모리를 GPU 장치에 직접 연결하는 CXL-GPU 기술이 다양한 산업계에서 활발히 검토되고 있다. CXL-GPU는 GPU에 메모리만 선택적으로 추가할 수 있어 시스템 구축 비용을 획기적으로 절감할 수 있다.

카이스트 연구진은 CXL-GPU 장치의 실용성을 위해 가장 중요한 요인인 메모리 읽기·쓰기 성능이 저하되는 원인을 분석해 이를 개선했다. 연구진은 메모리 확장 장치가 메모리 쓰기 타이밍을 스스로 결정할 수 있는 기술을 개발했다. GPU 장치가 메모리 확장 장치에 메모리 쓰기를 요청하면서 동시에 GPU 로컬 메모리에도 쓰기를 수행하도록 설계했다.

이번 연구는 국내 반도체 팹리스 스타트업 파네시아(Panmnesia)와 협업을 통해 진행됐다. 연구팀은 파네시아의 CXL-GPU 프로토타입을 활용한 기술 실효성 검증을 통해 기존 GPU 메모리 확장 기술보다 2.36배 빠르게 AI 서비스를 실행할 수 있음을 확인했다. 해당 연구 결과는 오는 7월 산타클라라 USENIX 연합 학회에서 선보일 예정이다.

정 교수는 “이번 연구 결과를 통해 대규모 AI 서비스를 운영하는 빅테크 기업의 메모리 확장 비용을 획기적으로 낮추는 데 기여할 수 있을 것”이라고 말했다.