한정된 자원으로 '온디바이스 AI' 정확도 높였다

온디바이스 AI는 서버와 연결 없이도 기기 자체적으로 AI 기술을 활용할 수 있는 기술로 특히 자율주행차·로봇 분야에서 주목받는다. 게티이미지뱅크 제공

서버와의 연결 없이도 기기 자체적으로 인공지능(AI) 기술을 활용할 수 있는 '온디바이스(On-Device) AI'가 자율주행차·로봇 분야에서 주목받고 있다. 국내 연구팀이 한정적인 자원으로 온디바이스 AI의 정확도를 높일 수 있는 신경망처리장치(NPU) 구조 및 소프트웨어 시스템을 개발해 그 성과를 인정 받았다. 

KAIST는 박종세 전산학부 교수팀이 지난 6월 29일부터 7월 3일 아르헨티나 부에노스아이레스에서 열린 '2024 국제 컴퓨터 구조 심포지엄(ISCA)'에서 최우수 연구 기록물상을 수상했다고 1일 밝혔다.

온디바이스 AI는 연산과 메모리 자원이 제한적이기 때문에 경량화된 AI 모델을 사용하지만 정확도가 떨어지는 문제가 있다. 이를 해결하기 위해 연속학습(Continuous learning) 기법 연구가 주목받는다. 연속학습은 이미 배포된 모델을 새로운 데이터에 지속적으로 학습시켜 변화된 환경에 적응하도록 해 정확도를 높이는 방법이다.

기존 연속학습은 고성능 그래픽처리장치(GPU)가 탑재된 서버와 통신하며 연속학습 작업을 하는 방식으로, 데이터 보안이나 네트워크 연결성 등에서 한계가 있었다. 연구팀은 원격 컴퓨팅 자원 없이 온디바이스 자원만으로 변화하는 환경에 따른 AI 모델의 정확도를 높이는 저전력·고효율 시스템을 개발했다.

연구팀이 제시한 온디바이스 연속학습 시스템의 자원 할당 및 스케줄링 작업 알고리즘. 시공간적인 자원 배분을 통해 제한적인 온디바이스 자원만으로 AI 모델을 효과적으로 적응시킬 수 있다. KAIST 제공

온디바이스 연속학습에는 추론과 재훈련, 데이터 라벨링 작업이 필요하다. 연구팀은 공간적으로 분할이 가능한 NPU를 개발해 연산량이 낮은 추론에 자원을 최소한으로 할당하고 남은 자원을 재훈련·라벨링에 활용할 수 있도록 설계했다.

또 입력 데이터의 변화를 감지하며 급격한 환경 변화를 탐지한 경우 라벨링 시간을 추가로 할당해 새로운 입력 데이터의 습득량을 높였다. 한정된 자원을 효율적으로 활용하도록 해 연속학습의 성능을 높인 것이다. 실제 차량에서 촬영된 변화하는 데이터를 활용해 연구팀이 개발한 연속학습 시스템을 시뮬레이션한 결과 기존 연구 대비 높은 정확도를 보이는 것으로 나타났다.

이번 연구는 온디바이스 AI 시스템 연구의 지속적인 발전을 위해 오픈소스로 공개한 점과 데이터 완성도 측면에서도 높은 평가를 받았다. 자동차·로봇을 중심으로 한 미래 모빌리티 환경 등 다양한 분야에서 활용될 것으로 기대된다.

박 교수는 "온디바이스 자원만으로 적응형 AI를 실현할 수 있다는 것을 입증하게 돼 매우 기쁘다"며 "학생들의 헌신적인 노력과 구글 및 메타 연구자들과의 긴밀한 협력 덕분"이라고 소감을 밝혔다.

[이병구 기자 2bottle9@donga.com]