"구글 없어도 된다" 中 알리바바, 새 AI 검색 훈련 기법 개발

훈련비용 90% 절감 ‘제로서치’

미국과 홍콩 증시에 동시 상장해 있는 알리바바홀딩스. AP연합뉴스

[서울경제]

중국 알리바바가 검색엔진 없이 인공지능(AI)의 인터넷 검색 능력을 학습시켜 훈련 비용을 90% 절감하는 기술을 개발한 것으로 전해졌다.

12일 홍콩 사우스차이나모닝포스트(SCMP)에 따르면 알리바바는 ‘제로서치’로 불리는 기술을 통해 대규모언어모델(LLM)을 검색엔진으로 변환해 AI 훈련 비용을 낮출 수 있다고 밝혔다. 최근 챗GPT를 비롯한 주요 AI 모델은 인터넷 검색을 통해 실시간 정보를 취합·정리해 구글·네이버 등 검색엔진의 영역을 대체하고 있다. 구글 등 검색엔진에 질의를 보내 검색어에 따른 결과물을 학습하는 방식이다. 제로서치는 이를 가상화해 학습 비용을 획기적으로 줄였다는 것이다.

알리바바 연구진은 논문 사이트 아카이브(arXiv)에 공개한 논문에서 “기존에는 검색엔진 문서 품질을 예측할 수 없어 강화 학습 과정에서 불안정성이 초래됐고 수십만 건의 검색 요청을 보내는 과정에서 앱인터페이스(API) 비용이 발생했다”며 “제로서치는 미세 조정을 통해 LLM을 검색엔진으로 변환한다”고 설명했다.

AI 챗봇 자체를 검색엔진처럼 활용해 강화 학습에 활용한다는 뜻이다. 알리바바는 구글 검색을 활용할 경우 6만 4000건의 질의를 처리하며 586.7달러의 비용을 지불했으나 검색엔진보다 우수한 결과를 내놓은 140억 매개변수(14B) 모델에서 훈련하는 비용은 70.8달러로 88% 저렴했다고 주장했다.

SCMP는 “이 연구는 AI 검색 발전에 대한 알리바바의 노력과 일치한다”며 “바이두·딥시크·문샷AI 등 다른 중국 기업들도 AI 검색 기술에서 상당한 진전을 보이고 있다”고 전했다.

실리콘밸리=윤민혁 특파원 beherenow@sedaily.com