네이버 AI ‘큐’ 지식이 짧네요

Q. 일본은 언제부터 오염수를 방류했나
A. 8월 말~9월 초에 방류할 계획입니다

자사 거대언어모델조차
제대로 학습하지 못해
정확성 MS 빙챗에 뒤져
‘쇼핑 편의성’은 강점

“GPT-3.5보다 한국어를 6500배 더 학습했다고 하는데, 하이퍼클로바X의 파라미터(매개변수)가 몇개인지 구체적으로 설명해줘. 하이퍼클로바X의 기존 버전인 하이퍼클로바와의 차이점도 알고 싶어.”(질문)

“하이퍼클로바X는 네이버가 자체 개발한 초거대 AI(인공지능)로 2023년 1월 공개된 하이퍼클로바보다 언어 이해 능력과 창의성이 향상된 것으로 알려졌습니다. 하이퍼클로바X는 1750억개의 파라미터를 보유해, 한국어, 영어 등 26개 언어를 이해할 수 있습니다.”(답변)

경향신문이 20일 네이버가 공개한 AI 검색 베타 서비스 ‘큐(CUE):’에 물어보니 그럴듯한 ‘오답(환각현상)’이 나왔다. 큐가 자신의 기반인 자사 거대언어모델(LLM) 하이퍼클로바X에 대한 정보조차 제대로 학습하지 못한 모습이다.

하이퍼클로바는 2021년 공개돼 2040억개의 파라미터를 갖고 있다. 올해 8월 공개된 하이퍼클로바X의 파라미터는 영업비밀이라는 이유로 공개되지 않았다. 큐가 답한 1750억개는 오픈 AI의 LLM인 GPT-3의 파라미터 규모다. 앞서 ‘한국형 챗GPT’로 불리는 클로바X가 지난달 말 공개됐을 때도 네이버 블로그와 카페 등 가두리 정보 위주로 답변을 해 전문성이 부족하다는 지적이 나왔는데, 큐 또한 자사의 자랑만큼 정확도가 높지 않았다.

네이버는 이날 큐에 대해 “복잡한 구조로 구성된 질의를 이해해 스스로 체계적인 검색 과정을 거쳐 답변을 생성하고 차별화된 기술인 ‘멀티스텝 리즈닝(단계별 추론, Multi-step reasoning)’ 과정을 통해 신뢰성 있는 답변을 제공하는 것이 기존 챗봇과 다른 특징”이라고 소개했다.

현재 큐처럼 생성형 AI 검색 서비스를 제공하는 곳은 마이크로소프트(MS) 빙챗으로 무료로 사용 가능하다. GPT-4.0 버전을 탑재해 큐와 단순 비교는 힘들지만, 빙챗의 정확도가 더 높았다. 같은 질문을 빙챗에 해보니 “하이퍼클로바X의 매개변수는 공개되지 않았지만 하이퍼클로바의 2040억개보다 더 많을 것으로 추정된다”고 정확히 답했다.

심지어 국내에서 뜨거운 감자가 된 최신 현안에 대해서도 큐의 정보 학습이 빙챗보다 떨어졌다. ‘일본 정부가 언제부터 한국에 후쿠시마 오염수를 방류하기 시작했나’라고 물어보니, 큐는 “일본 언론에 따르면 일본 정부는 2023년 8월 말에서 9월 초에 후쿠시마 원전의 오염수를 방류할 계획”이라는 구버전의 답변을 제시했다. 참고 자료로는 연합뉴스 기사를 볼 수 있도록 링크로 걸어놨다.

반면, 빙챗은 “일본 정부와 도쿄전력은 지난달 24일 후쿠시마 제1원전 오염수의 해양 방류를 강행한 것으로 알려져 있다”고 정확히 답하며, 최신 뉴스들을 모아서 링크로 걸어놨다.

다만 큐는 네이버 쇼핑 서비스와 연계해 쇼핑의 편의성을 높였다. ‘원룸에 설치할 수 있는 싱글침대 알려줘’라고 대화창에 넣으니, 상품명·제조사·브랜드·평점·매트리스 형태 등을 일목요연하게 표로 정리해 최저가 순으로 보여줬다. 답변 하단의 검색하기 버튼을 추가로 누르면 더 다양한 상품을 ‘맞춤형’으로 검색해 바로 구매로 이어질 수 있게 연결해 놨다.

네이버는 “서비스 품질 개선과 기능 고도화를 거쳐 오는 11월부터 큐를 네이버 통합검색에 접목해 회사 서비스와의 연계를 더 강화할 계획”이라고 말했다.

김은성 기자 kes@kyunghyang.com