KAIST, 초대규모 그래프 연산 처리 프레임워크 ‘GFlux’ 개발

GPU 메모리 한계 극복…1조 간선 그래프도 단일 컴퓨터로 연산 가능
기존 대비 연산 속도 2배 향상…그래프 RAG·지식그래프 활용 기대

연구팀이 개발한 GFlux 구조. ⓒ한국과학기술원

한국과학기술원(KAIST)은 한정된 크기 메모리를 지닌 그래픽처리장치(GPU)를 이용해 초대규모 그래프에 대해 다양한 연산을 고속으로 처리할 수 있는 스케쥴러 및 메모리 관리 기술을 갖춘 연산 프레임워크(GFlux)를 개발했다고 27일 밝혔다.

김민수 KAIST 전산학부 교수 연구팀이 개발한 지플럭스 프레임워크는 그래프 연산을 GPU에 최적화된 단위 작업인 ‘지테스크(GTask)’로 나누고, 이를 효율적으로 GPU에 배분 및 처리하는 특수한 스케줄링 기법을 핵심 기술로 한다. 그래프를 GPU 처리에 최적화된 자체 개발 압축 포맷인 HGF로 변환해 SSD와 같은 저장장치에 저장 및 관리한다.

기존 표준 포맷인 CSR로 저장할 경우, 1조 간선 규모의 그래프 크기가 9테라바이트(TB)에 이르지만, HGF 포맷을 활용하면 이 크기를 4.6테라바이트(TB)로 절반 가까이 줄일 수 있다.

또 GPU에서는 메모리 정렬 문제로 그간 사용되지 않았던 3바이트의 주소 체계를 최초로 활용, GPU 메모리 사용량을 약 25% 절감했다.

엔비디아(NVIDIA) 쿠다(CUDA)의 통합 메모리(Unified Memory)에 전혀 의존하지 않고, 메모리 부족으로 인한 연산 실패를 방지할 수 있도록 메인 메모리와 GPU 메모리를 통합적으로 관리하는 GTask 전용 메모리 관리 기술을 주요 핵심 기술로 포함하고 있다.

김민수 교수 연구팀은 삼각형 개수 세기와 같은 고난도 그래프 연산을 통해 지플럭스 기술의 성능을 검증했다.

약 700억 간선 규모의 그래프를 대상으로 한 실험에서, 기존의 최고 성능 기술은 고속 네트워크로 연결된 컴퓨터 25대를 이용해 약 2000초가 걸리던 삼각형 개수 세기 연산을 지플럭스는 GPU가 장착된 단일 컴퓨터만으로 약 두배 빠른 1184초 만에 처리하는 데 성공했다.

이는 단일 컴퓨터로 삼각형 개수 세기 연산을 성공적으로 처리한 현재까지 알려진 최대 규모의 그래프다.

김민수 교수는 “최근 그래프 RAG(검색증강생성), 지식 그래프, 그래프 벡터 색인 등 대규모 그래프에 대한 고속 연산 처리 기술의 중요성이 점점 커지고 있다”며 “지플럭스 기술이 이러한 문제를 효과적으로 해결할 것으로 기대한다”고 말했다.