수천만원 엔비디아 칩 없어도 AI 학습 속도 100배 높인다

카이스트 한동수 교수팀 ‘스텔라트레인’ 개발

▲ 왼쪽부터 KAIST 한동수 교수, 임휘준 박사, 예준철 박사과정생. KAIST 제공

수천만원에 달하는 엔비디아 고성능 GPU 없이 누구나 쉽게 AI모델 학습이 가능해질 전망이다.

한국과학기술원(KAIST)은 고성능 칩 없이도 인공지능(AI) 모델 학습 속도를 최대 100배 높일 수 있는 기술을 개발했다고 19일 밝혔다.

현재 AI 모델 학습을 위해서는 개당 수천만원에 달하는 엔비디아의 고성능 GPU인 ‘H100’ 여러 개와 이를 연결하기 위해 400Gbps(초당 기가비트)급 고속 네트워크를 갖춘 인프라가 있어야 한다.

이같은 비용문제로 인해 소수의 거대 IT 기업을 제외한 대부분 기업이나 연구자들은 활용하기 쉽지 않다.

한동수 교수 연구팀은 H100 가격의 10분의 1에 불과한 소비자용 GPU를 활용해 고속 전용 네트워크의 수백∼수천분의 1 수준의 저대역폭에서도 효율적인 분산 학습이 가능한 프레임워크 ‘스텔라트레인’(StellaTrain)을 개발했다.

학습을 작업 단계별로 나눠 CPU와 GPU가 병렬적으로 처리하고, 네트워크 속도에 맞춰 데이터를 효율적으로 압축·전송 가능하게 한 알고리즘을 개발해 고속 네트워크 없이도 여러 대의 저가 GPU로 빠른 학습을 할 수 있게 만들었다.

이번에 개발된 스텔라트레인 기술을 사용하면 기존 데이터 병렬 학습에 비해 최대 104배 빠른 성능을 낼 수 있다고 연구팀은 설명했다.

한 교수는 “대규모 AI 모델 학습을 누구나 쉽게 접근할 수 있게 하는 데 기여할 것”이라며 “저비용 환경에서도 대규모 AI 모델을 학습할 수 있는 후속 연구를 이어 나갈 계획”이라고 말했다.

이번 연구는 KAIST 임휘준 박사, 예준철 박사과정 학생, UC 어바인의 산기타 압두 조시 교수가 참여했으며, 지난달 호주 시드니에서 열린 국제 학술대회 ‘ACM SIGCOMM 2024’에서 발표됐다.