대형 AI 모델 학습 비용, 최적화 시뮬레이션으로 줄인다

KAIST, 삼성종기원과 시뮬레이션 프레임워크 개발

[이데일리 강민구 기자] 국내 연구진이 대형 인공지능(AI) 모델의 학습 비용을 줄이기 위해 그래픽처리장치(GPU) 사용률을 높이고, 최적의 병렬화 구성을 도출하도록 돕는 기술을 개발했다.

한국과학기술원(KAIST)은 유민수 전기전자공학부 교수 연구팀이 삼성전자 삼성종합기술원과 공동연구를 통해 대규모 분산 시스템에서 대형 언어 모델(LLM)의 학습 시간을 예측하고 최적화할 수 있는 시뮬레이션 프레임워크(vTrain)를 개발했다고 13일 밝혔다.

유민수 KAIST 전기전자공학부 교수.(사진=KAIST)

대형 언어 모델 학습 효율을 높이려면 최적의 분산 학습 전략을 찾아야 한다. 하지만 전략의 경우의 수가 방대하고, 실제 환경에서 각 전략의 성능을 시험하는데 비용과 시간이 들어간다.

현재 대형 언어 모델을 학습하는 기업들은 일부 경험적으로 검증된 소수의 전략만을 사용하고 있다. 이는 GPU 활용의 비효율성과 불필요한 비용 증가를 초래하지만, 대규모 시스템을 위한 시뮬레이션 기술이 부족해 기업들이 문제를 효과적으로 해결하지 못하고 있다.

이에 연구팀은 vTrain을 개발해 대형 언어 모델의 학습 시간을 정확히 예측하고, 다양한 분산 병렬화 전략을 빠르게 탐색할 수 있도록 했다.

연구팀이 실제 다중 GPU 환경에서 다양한 대형 언어 모델 학습 시간 실측값과 vTrain의 예측값을 비교한 결과, 단일 노드에서 평균 절대 오차(MAPE) 8.37%, 다중 노드에서 14.73%의 정확도로 학습 시간을 예측했다.

특히 삼성전자 삼성종합기술원와 공동연구를 통해 vTrain 프레임워크와 1500개 이상의 실제 학습 시간 측정 데이터를 오픈소스로 공개하고, AI 연구자와 기업이 이를 자유롭게 활용하도록 했다.

유민수 교수는 “vTrain은 프로파일링 기반 시뮬레이션 기법으로 기존 경험적 방식 대비 GPU 사용률을 높이고 학습 비용을 절감할 수 있는 학습 전략을 탐색했다”며 “기업들은 초거대 인공지능 모델 학습 비용을 효율적으로 절감할 수 있다”고 말했다.

연구 결과는 컴퓨터 아키텍처 분야 학술대회인 미국 전기전자공학회(IEEE)·전산공학회(ACM) 공동 마이크로아키텍처 국제 학술대회(MICRO)에서 지난해 11월 발표됐다.

다양한 병렬화 기법에 따른 MT-NLG 학습 시간 및 GPU 사용률 변화.(자료=KAIST)

강민구 (science1@edaily.co.kr)