"AI, 내가 원하는 것을 빠르게 추천"…LLM 기반 추천시스템 개발

KAIST, 미리 학습된 협업 필터링 방식 활용
추가 학습 없이 최신 모델 비해 42% 높은 성능

KAIST는 협업 필터링 기반 대형언어모델(LLM) 상품 추천 기술을 개발했다. LLM 기반 추천시스템 개념도.

박찬영 KAIST 산업및시스템공학과 교수

대형언어모델(LLM)을 기반으로 상품과 서비스 관련 정보를 높은 정확도로 빠르게 추천해 주는 기술이 개발됐다.

KAIST는 박찬영 산업및시스템공학과 교수 연구팀은 네이버와 공동으로 협업 필터링을 통해 대형언어모델(LLM)의 상품 추천 성능을 획기적으로 높일 수 있는 기술을 개발했다고 17일 밝혔다.

최근 상품 제목과 설명 등의 텍스트를 주입해 상품 추천을 제공하는 LLM 기반 기술이 소셜 미디어, 전자상거래 플랫폼 등에서 널리 쓰이고 있다.

기존 LLM을 활용한 추천 기술들은 사용자가 사용한 상품 이름들을 단순히 텍스트 형태로 나열해 LLM에 주입하는 방식으로 추천을 진행했다. 이런 서비스는 LLM이 추천을 목적으로 학습·설계되지 않아 저조한 성능을 보인다. 상품 추천을 위해 사전 학습된 LLM을 특정 작업이나 데이터셋에 맞게 최적화하는 '파인 튜닝'을 거쳐야 하지만 학습과 추론에 시간과 비용이 많이 드는 한계가 있다.

연구팀은 LLM을 직접 학습하는 대신 사용자와 비슷한 상품을 소비한 다른 사용자들에 대한 정보를 활용하는 '협업 필터링' 방식으로 신경망을 경량화했다. 목표 사용자와 비슷한 이력을 갖는 사용자가 상호작용한 상품을 추천하거나, 목표 사용자가 상호작용한 특정 상품과 유사한 상품을 추천하는 협업 필터링 방식을 적용한 것이다.

연구팀은 이를 통해 기존 연구보다 학습과 추론 속도를 각각 253%, 171% 높였고, 상품 추천에서도 평균 12% 향상된 성능을 보였다.

특히 다른 상품군의 쇼핑몰에서 학습한 모델로 현재의 쇼핑몰에서 추천을 수행하는 다중 도메인 상품 추천에서 42%, 사용자의 소비 이력이 풍부하지 않은 상품 추천에서도 평균 20% 향상된 성능을 달성했다.

박찬영 KAIST 교수는 "기존 연구들이 간과한 사용자와 상품 간 상호작용 정보를 전통적인 협업 필터링 모델에서 추출해 대형언어모델에 전달하는 새로운 방법"이라며 "대화형 추천 시스템이나 개인화 상품 정보 생성 등 다양한 추천 서비스를 개발하는데 활용할 수 있을 것"이라고 말했다.

이번 연구는 다음달 열리는 데이터 마이닝 분야 국제 학술대회인 '국제 데이터 마이닝 학회'에서 발표될 예정이다.이준기기자 bongchu@dt.co.kr