'엔비디아 긴장해'… KAIST, 고용량·고성능 AI 가속기 기술 개발

"고용량 GPU 장치 메모리 읽기·쓰기 성능 최적화"

CXL-GPU 대표 그림. (KAIST 제공)/뉴스1

(대전=뉴스1) 김태진 기자 = 국내 연구진이 세계적인 그래픽 처리장치(GPU) 기업 엔비디아(Nvidia)를 긴장시킬 만한 고용량·고성능 인공지능(AI) 가속기를 개발해 주목된다.

한국과학기술원(KAIST·카이스트)은 정명수 전기 및 전자공학부 교수 연구팀이 차세대 인터페이스 기술 CXL이 활성화된 고용량 GPU 장치의 메모리 읽기·쓰기 성능을 최적화하는 기술을 개발했다고 8일 밝혔다.

카이스트에 따르면 최신 GPU의 내부 메모리 용량은 수십 기가바이트(GB) 수준이어서 단일 GPU만으론 모델을 추론·학습하는 게 불가능하다.

대규모 AI 모델이 요구하는 메모리 용량을 제공하기 위해 업계에선 일반적으로 GPU 여러 대를 연결하는 방식을 채택하지만, 이 방법은 최신 GPU의 높은 가격으로 인해 총 소유비용을 과도하게 높이는 문제를 발생시킨다.

이에 현재 CXL을 활용해 대용량 메모리를 GPU 장치에 직접 연결하는 'CXL-GPU' 구조 기술이 다양한 산업계에서 활발히 검토되고 있다.

왼쪽 위부터 시계방향으로 김동평 KAIST 전기및전자공학부 석사과정, 유어진 석사과정, 이상원 박사, 국동현 박사과정, 정명수 교수, 강승관 박사과정, 장준혁 박사과정, 배한여름 박사과정. /뉴스1

연구팀은 메모리 확장 장치가 사전에 메모리 읽기를 수행할 수 있도록 GPU 장치 측에서 미리 힌트를 주는 기술을 개발했다.

이 기술을 활용하면 메모리 확장 장치가 메모리 읽기를 더 빨리 시작해 GPU 장치가 실제 데이터를 필요할 땐 캐시(작지만 빠른 임시 데이터 저장공간)에서 데이터를 읽어 더욱 빠른 메모리 읽기 성능을 달성할 수 있다는 게 연구팀의 설명이다.

이와 관련 연구팀은 반도체 팹리스 스타트업 '파네시아'의 CXL-GPU 프로토타입을 활용한 기술 실효성 검증을 통해 기존 GPU 메모리 확장 기술보다 2.36배 빠르게 AI 서비스를 실행할 수 있음을 확인했다고 밝혔다.

정 교수는 "CXL-GPU의 시장 개화 시기를 가속해 대규모 AI 서비스를 운영하는 빅테크 기업의 메모리 확장 비용을 획기적으로 낮추는 데 기여할 수 있을 것"이라고 말했다.

이번 연구 성과는 이달 산타클라라 USENIX 연합 학회와 핫스토리지의 연구 발표장에서 발표된다.

memory4444444@news1.kr