AI모델 속도 2.5배 빠르게…GPU 사용 줄여 전력절감

UNIST, 유사한 연산자끼리 정보 공유
오토튜닝 속도 높여..GPU 효율적 활용

딥러닝 인공지능(AI) 모델을 실행 가능한 프로그램 형태로 바꾸는 시간을 절반 가량 줄일 수 있는 기술이 개발됐다.

울산과학기술원(UNIST)은 이슬기 컴퓨터공학과 교수 연구팀이 오토튜닝 과정을 최대 2.5배 빠르게 할 수 있는 기술을 개발했다고 12일 밝혔다.

AI 모델이 작동하려면 사람의 명령을 컴퓨터 연산장치가 이해할 수 있도록 바꾸는 '컴파일' 과정이 필요하다. 가령, '고양이 사진을 구분해 줘'라는 간단한 명령도 컴퓨터가 수행하려면 수천 줄에 이르는 복잡한 계산 코드로 연산장치인 그래픽처리장치(GPU)나 중앙처리장치(CPU)를 통해 바꿔야 한다.

오토튜닝은 이 과정에서 수십 만개의 코드 조합 중 연산장치에서 가장 빠르고 효율적인 구성을 자동으로 찾아주는 기술이다. 하지만, 오토튜닝 시간이 수십 분에서 수 시간까지 걸릴 정도로 연산 부담이 크고, 전력 소모가 많은 문제가 있었다.

연구팀은 딥러닝 모델 안에서 반복되는 계산 구조가 많다는 점에 주목해 유사한 연산자끼리 정보를 공유하는 방식으로 탐색 범위를 줄였다. 코드 조합을 일일이 새로 찾는 대신 기존 결과를 재활용해 오토튜닝 속도를 높인 것이다.

실제 이 방식을 기존 오토튜닝 프레임워크에 적용한 결과, 동일한 성능의 실행 코드를 생성하는 데 걸리는 시간이 CPU 기준 평균 2.5배, GPU 기준 평균 2배 단축됐다.이슬기 UNIST 교수는 "컴파일 시간을 줄이면서도 GPU나 CPU를 직접 쓰는 횟수를 줄여 제한된 연산 자원을 효율적으로 쓰고 전력 소모도 줄일 수 있다"고 말했다.

이 연구결과는 지난달 미국 보스턴에서 열린 컴퓨터 시스템 분야 학회 '운영체제 설계 및 구현(OSDI)'에서 발표됐다.

이준기 기자 bongchu@dt.co.kr

AI모델의 오토튜닝 과정을 2.5배 빠르게 할 수 있는 기술 모식도.

UNIST 제공" class="img_LSize" />