야놀자, 한국어 특화 거대언어모델 개발…글로벌 여행 편의 제고

챗봇 아레나 홈페이지 내 LLM 순위.

야놀자가 한국어 특화 거대 언어모델 'EEVE-Korean'을 개발·공개했다. 이를 기반으로 해외여행 편의를 제고하고 글로벌 이용자 유치에 본격적으로 나선다.

20일 야놀자에 따르면 야놀자 거대언어모델(LLM)은 세계 최대 머신러닝 플랫폼이자 오픈 소스 커뮤니티인 허깅페이스(Hugging Face)의 리더보드에서 선두에 올랐다. LLM 기능 블라인드 테스트를 진행하는 챗봇 아레나(Chatbot Arena)의 기준으로도 EEVE-Korean이 5위에 등극했다.

야놀자는 기존 영어 기반 MS의 Phi와 업스테이지 솔라 LLM에 한국어 성능을 향상시켰다. 이를 통해 기존 영어 수준은 유지하고 한국어 처리 능력을 높일 수 있었다.

이는 글로벌 빅테크 기업의 LLM이 주로 영어에 특화됐다는 점과 다르다. LLM을 전 세계 다양한 언어에 최적화 시키려면 각 언어에 맞는 토큰을 추가하고 해당 언어에 특화된 학습도 수개월간 진행해야 한다. 새로운 언어를 추가할 때 기존의 영어 성능이 현저하게 저하돼 수억 원에 달하는 경제적·시간적 비용이 발생한다.

EEVE-Korean은 문장의 긍·부정과 미묘한 감정 차이를 인식할 수도 있다. 감정 지표(SentiNeg) 테스트에서 95% 이상의 정확도를 나타냈다. EEVE-Korean 적용 전과 비교하면 약 40% 포인트(P) 증가한 수치다. 미묘한 뉘앙스 차이까지 이해하는 능력을 갖추며 서비스 고도화에 유용하게 활용될 전망이다.

효율성 측면에서도 우수한 결과가 나왔다. 기존 학습 방법으로 수조 개의 학습 토큰이 필요했다면 이번 연구를 통해 20억 개의 토큰만으로도 비영어권 언어 능력을 크게 향상시킬 수 있다는 결과가 나왔다. 토큰 효율성으로 학습 속도를 2배 이상 높일 수 있고 비용 또한 대폭 절감할 수 있다.

야놀자는 한국어를 시작으로 일본어, 중국어 등 전 세계 다양한 언어를 효과적으로 지원하는 다국어 LLM을 개발할 계획이다. 이를 통해 글로벌 여행 편의 제고한다. 고도화한 LLM을 여행 시장에 접목시켜 고객이 보다 쉽고 편하게 여행을 준비할 수 있도록 지원해 나갈 예정이다.

야놀자 관계자는 “LLM 개발로 글로벌 LLM 시장에서 야놀자의 기술 경쟁력을 입증해 나가는 중”이라며 “한국어를 시작으로 다양한 언어의 여가 산업 특화 LLM을 개발해 여행 편의를 제고할 계획”이라고 말했다.

손지혜 기자 jh@etnews.com