'추천 시스템' 효율·정확도 높인 AI 훈련 기술 개발

사용자의 관심을 파악하고 좋아할 만한 제품을 제시하는 인공지능(AI) 기반의 추천시스템이 널리 활용되고 있다. 게티이미지뱅크 제공

심층 학습(딥러닝)을 통해 사용자의 관심을 파악하고 좋아할 만한 제품을 제시하는 인공지능(AI) 기반의 추천시스템이 널리 보급되고 있다. 국내 연구팀이 사용자의 관심이 변하더라도 효과적으로 학습해 이에 대응할 수 있는 AI 학습 기술을 개발했다. 

KAIST는 이재길 전산학부 교수팀이 새로운 지식을 축적할 때 기존에 학습된 지식을 유지하도록 하는 효과적인 '연속 학습(continual learning)' 기술을 개발했다고 5일 밝혔다. 연구결과는 지난달 학술대회 '국제머신러닝학회(ICML) 2024'에서 발표됐다.

심층신경망은 인간의 신경망을 본떠 여러 층으로 만든 인공신경망을 말한다. 심층신경망을 변화하는 환경에 계속 대응시키기 위해 새로운 데이터를 연속 학습하는 방식이 활용된다.

예를 들어 AI 추천시스템에서 '음식 추천' 작업을 위해 훈련한 신경망이 '옷 추천'을 위해 추가로 훈련하는 식이다. 새로운 학습(옷 추천)을 진행하면 이전 학습 작업(음식 추천)의 정확도가 떨어지는 '치명적 망각(catastrophic forgetting)' 현상이 발생하는 것이 문제였다.

망각 현상을 해결하기 위해 데이터를 추가해 심층신경망을 미세조정하는 방식이 일반적으로 쓰이지만 신경망의 크기가 점점 커지며 비용이 커진다. 이에 각 작업에 특화된 지식을 프롬프트(prompt)에 저장해 두고 입력 데이터를 적절히 추가해 신경망이 과거 지식을 활용하도록 하는 방법이 제안됐다. 신경망 대신 상대적으로 작은 프롬프트만 변경하면 되므로 훈련 비용을 줄일 수 있다.

프롬프트 방식은 학습할 작업에 따라 프롬프트의 수를 최적화할 필요가 있다. 각 작업별로 프롬프트를 따로 생성하면 유사한 작업에서 지식이 분산돼 깊이가 부족해지고, 프롬프트를 단 하나만 생성하면 서로 다른 작업에서 정확한 지식이 저장되지 않는 문제가 있기 때문이다.

연구팀이 개발한 '적응적 프롬프팅' 방법의 개념도. 프롬프트를 유지하며 유사한 작업이 나타나면 기존 프롬프트를 갱신한다. 새로운 작업이 나타날 때만 프롬프트를 새로 생성해 기존 지식과 섞이지 않도록 한다. KAIST 제공

연구팀은 프롬프트 기반의 연속 학습 방법을 최적화하는 '적응적 프롬프팅' 기술을 제안했다. 학습하려는 작업이 기존 작업과 유사하면 기존 프롬프트에 지식을 추가로 축적하고 완전히 새로운 작업이 입력될 때만 새로운 프롬프트를 생성하는 아이디어다. 여러 작업에 대한 지식이 섞이지 않으면서도 각 작업에 특화된 지식을 축적할 수 있다. 신경망은 새로운 작업이 들어올 때마다 가장 적절한 클러스터(그룹)로 분류하며 최적의 상태를 유지한다.

연구팀이 개발한 학습 방식은 기존 방법과 비교해 정확도가 높은 것으로 나타났다. 이미지 분류 문제를 통해 검증한 결과 각 작업 사이의 변화가 항상 큰 경우는 정확도가 최대 14% 높아졌다. 작업 간의 변화가 다양한 상황에서는 최대 8%의 정확도가 향상됐다. 학습 수행 비용도 적어 대용량 데이터에도 쉽게 적용할 수 있을 것으로 기대된다.

연구팀은 "입력 데이터의 변화가 심한 추천시스템 분야 등의 환경에서 AI 서비스의 품질 유지에 크게 기여할 수 있을 것으로 기대한다"고 설명했다.

이재길 교수는 "실용화와 기술 이전이 이뤄지면 심층학습 학계와 산업계에 큰 파급효과를 낼 수 있을 것"이라고 밝혔다.
 

[이병구 기자 2bottle9@donga.com]