[팩플] 韓사투리 강하지만 수학엔 오답…클로바X, 11월 기능 고도화

‘한국형 챗GPT’로 기대를 모은 네이버의 대화형 인공지능(AI) ‘클로바X’가 오는 11월 사용자 의견을 반영해 기능을 고도화한다. 지난 24일 공개된 클로바X를 실제로 써보니 한국 문화와 언어에 대한 맥락을 잘 이해하고 있었지만, 최신 정보와 수학 능력에는 약한 경향을 보였다. 고도화 후에는 이런 약점이 개선될 것으로 보인다.

최수연 네이버 최고경영자(CEO)가 지난 24일 오전 서울 강남구 그랜드인터컨티넨탈 서울파르나스에서 열린 팀 네이버 콘퍼런스 단23에서 ‘생성형 AI 시대, 모두를 위한 기술 경쟁력’의 주제로 기조연설을 하고 있다. 이번 콘퍼런스에서는 네이버의 생성형 AI '하이퍼클로바X', 이를 기반으로 한 '클로바X', '큐(CUE):'가 소개됐다. 뉴스1.

━

무슨 일이야

27일 네이버는 올해 11월 클로바X에 대한 성능 개선 등 순차적인 기능 고도화를 준비 중이라고 밝혔다. 클로바X는 네이버가 지난 24일 발표한 LLM(거대언어모델) 하이퍼클로바X를 기반으로 한 대화형 챗봇이다. 하이퍼클로바X는 2021년 네이버가 세계 3번째로 공개한 LLM인 하이퍼클로바의 업그레이드 버전이다.

클로바X에 구체적으로 어떤 기능이 더 들어갈지는 아직 결정되지 않았다. 네이버 관계자는 “사용자 피드백을 받아 기능을 고도화해서 11월 업데이트를 할 예정이다”고 설명했다. 현재 클로바X는 베타(테스트용) 서비스 중이다. 3시간에 질문 30개로 제한되어 있다. 가입이 쇄도하다보니 서비스를 이용하려면 대기 등록을 해야한다.

네이버는 하이퍼클로바X와 클로바X를 공개한 당일(24일) 주가가 전일 대비 6.26% 상승했지만, 다음 날(25일)에는 8% 가까이 급락하며 상승분을 반납했다. 클로바X가 원활하게 운영되지 않다보니 기대감이 실망감으로 돌아섰다는 분석이 나온다. 네이버는 클로바X의 정식 서비스 시점을 밝히지 않았다.

━

클로바X, 뭘 잘하니

네이버가 내세운 하이퍼클로바X의 차별점은 한국에 특화된 정보를 잘 알고 있다는 점. 우선 한국의 사투리에 강했다. 기자가 “‘뭐 뭇나’가 무슨 뜻이야”라고 묻자 클로바X는 “‘뭐 뭇나?’는 경상도 사투리로 ‘무엇을 먹었느냐?’라는 뜻이다”고 옳게 설명했다. 반면 GPT4 버전의 챗GPT는 “‘뭐 뭇나?’는 표준 한국어에서는 흔히 사용되지 않는 표현이다. ‘무엇이야?’ 또는 ‘무슨 일이야?’ 정도의 뜻이 될 수 있다”며 틀린 설명을 내놨다.

클로바X 캡처.

지역 정보에도 강했다. 클로바X에 광화문 맛집을 추천해달라고 하니 실제 존재하는 광화문 근처 식당 10곳을 추천해줬다. 클로바X와 네이버 내·외부 서비스를 연결하는 기능인 ‘스킬’을 켜고 다시 추천해달라고 하니 맛집 소개뿐만 아니라 네이버지도 링크까지 연결했다.

클로바X 캡처.

━

클로바X, 아직 부족한 점은

클로바X에도 LLM의 고질적인 문제인 최신 정보 미반영, 할루시네이션(환각) 현상이 나타났다. 클로바X에 “일본 오염수 방류는 언제 시작됐냐”고 묻자 이달 초의 언론 보도를 링크로 같이 제공하며 “일본 정부가 후쿠시마 제1원전에 보관 중인 133만톤 가량의 오염수를 2023년 8월 하순 바다에 방류하는 방안을 조정 중인 것으로 전해졌다”고 답했다. 일본 오염수는 이미 24일부터 방류가 시작했다. 시청역에서 강남역으로 가는 지하철 경로를 묻는 질문에서도 이동 역의 수, 소요 시간을 틀리게 제공했다. 네이버지도에 따르면 21개 역을 이동해 총 41분이 걸리는 경로였지만 클로바X는 5개 역을 이동해 약 17분이 소요된다고 했다.

클로바X 캡처.

수학도 어려워했다. 2023학년도 대학수학능력시험의 확률과 통계 24번 문제를 풀어보게 시켰더니 오답을 내놨다. 반면 챗GPT는 정답(150)을 맞췄다.

클로바X 캡처.

━

앞으로는

네이버는 하이퍼클로바X와 클로바X에 이은 생성 AI 서비스를 하반기 내내 공개할 예정이다. 다음 달에는 검색과 하이퍼클로바X를 결합한 생성 AI 검색 ‘큐:(Cue:)’를 베타 출시한다. 같은 달 콘텐트 제작 툴 ‘스마트에디터’에도 하이퍼클로바X를 결합한다. AI 앱 개발 플랫폼 ‘클로바 스튜디오’에 하이퍼클로바X를 결합한 서비스를 이달에 일부 기업에 공개한 뒤, 10월 공식 출시한다.

김남영 기자 kim.namyoung3@joongang.co.kr