한양대 김상욱 교수팀, 2배 빨라진 새로운 딥러닝 기술 개발

김상욱 한양대 교수

한양대 컴퓨터소프트웨어학부 김상욱 교수팀이 최근 딥러닝 기술 성능을 기존 대비 약 2배 개선한 새로운 분산 딥러닝 기법 '알라딘(ALADDIN)'을 개발했다.

딥러닝은 수많은 계층으로 구성된 모델을 이용해 방대한 양의 빅데이터를 학습하는 기술이다. 딥러닝은 빅데이터 학습을 위해 방대한 시간과 자원이 필요하고, 딥러닝 기술을 이용한 학습을 가속화하기 위한 연구들이 학계 및 산업계에서 활발하게 진행됐다.

김 교수팀이 개발한 알라딘은 분산 딥러닝 기술로, 수십·수백 대 '워커(worker)'들로 구성된 분산 클러스터를 기반으로 딥러닝을 가속화하는 기법이다. 핵심은 기존 분산 딥러닝 기법들에 대한 면밀한 분석을 통해 분산 딥러닝 성능저하 원인을 규명하고 이를 해결했다.

각 워커에서 개별 처리된 데이터는 파라미터 서버에서 전역 모델을 업데이트하는데 사용된다. 이때 각 워커는 자신이 처리한 데이터를 파라미터 서버에 전송하고, 파라미터 서버로부터 해당 데이터가 반영된 전역 모델을 수신한다. 즉 워커와 파라미터는 한쪽이 일방적으로 데이터를 전송하는 비대칭적인 통신이 아니라, 서로 송신과 수신을 모두 수행하는 이른바 '대칭적 통신'을 수행한다.

ALADDIN 학습 흐름도. 각 워커(worker)는 파라미터 서버(parameter server)에게 자신의 계산 결과()를 일방적으로 전송하는 비대칭 통신을 수행하며, 비대칭 통신으로 발생할 수 있는 정확도 성능 이슈를 해결하기 위해 세 가지 업데이트 전략을 사용한다. 이미지=한양대 제공

김 교수팀은 이러한 워커와 파라미터 서버 간 대칭적 통신이 분산 딥러닝의 성능저하를 유발하는 근본적 원인임을 밝히고, 이를 해결하고자 워커-파라미터 서버 간 비대칭 통신 기반 새로운 분산 딥러닝 방법론을 설계했다. 비대칭 통신으로 발생할 수 있는 정확도 성능이슈를 해결하는 전략들도 함께 반영했다. 그 결과 알라딘은 기존 분산 딥 러닝 기법들과 비교해 정확도를 유지하면서도 최대 200% 가량 성능이 개선됐다.

김 교수팀의 알라딘 연구는 지금까지 존재하는 딥러닝 기술뿐만 아니라 인공지능(AI) 등 다양한 미래 기술에 적용할 수 있다. 이 연구는 BK21, 한국연구재단, 정보통신기획평가원의 지원을 받았다. 한양대 고윤용 박사, 최기봉 연구원, SK텔레콤 제현승 연구원, 미국 펜실베이니아 주립대 이동원 교수와 함께 진행했다.

알라딘은 내달 1일부터 닷새간 개최되는 'ACM CIKM 2021'에서 발표될 예정이다. ACM CIKM은 세계적으로 인정받는 데이터 사이언스 분야 콘퍼런스 중 하나다.

김명희기자 noprint@etnews.com