'아직도 올해가 2023년?' 기본기 개선 시급한 네이버 CUE:

[IT동아 남시현 기자] 지난해 9월, 네이버가 검색에 특화된 생성형 인공지능(이하 AI) 서비스 ‘큐:’(CUE:)를 처음 선보였다. CUE:는 네이버의 초거대 AI ‘하이퍼클로바X’를 검색 방식에 맞춰 최적화한 모델로, 사용자가 묻고자 하는 바를 파악해 검색 편의를 높인다. 네이버는 검색 과정과 답변, 참고 정보, 후속 질문으로 구조화된 정보를 제공하는 방식으로 신뢰도를 높였고, 질문의 의도를 파악해 검색 결과에서 적합한 정보를 찾고, 복합적인 답변을 생성해 완성도를 높였다.

하지만 시장의 반응은 엇갈렸다. 한국 문화에 대한 인식과 쇼핑 관련 지식은 인상적이라는 평가를 받았지만, 환각(할루시네이션) 현상으로 잘못된 정보를 전달한다는 우려가 있었다. AI 특성상 꾸준한 개선으로 문제를 해결했겠지만, 첫 단추를 잘못 끼웠다는 평가를 받았다.

네이버는 지난해 9월 검색 특화 서비스 CUE:를 선보였다. 현재 네이버 검색창 우측에 CUE: 서비스가 제공되고 있다 / 출처=IT동아

그로부터 10개월이 지났다. 지난해 가을 정식 서비스 예정이던 네이버 CUE:는 아직까지 신청자에 한해 쓸 수 있는 베타 서비스 중이고, 모바일 버전이 등장한다는 얘기도 이미 지난해 얘기다. 오픈AI는 지난 5월에 GPT-4o를 출시했고, 앤스로픽도 6월에 클로드 3.5 소네트 버전을 내놨다. 구글 역시 제미나이 1.5 플래시와 프로를 공개하는 등 시장 공략에 박차를 가하고 있다. 하지만 네이버 CUE:는 여전히 잠행을 이어나가는 상황이며, 여전히 개선점이 많이 보인다.

검색 최적화에 초점 맞춘 AI, ‘한국적’ 결과에 최적

1박 2일 서울 근교 드라이브를 질문했다. GPT보다 네이버 쪽의 결과가 더 현지 정보를 잘 이해한 결과다 / 출처=IT동아

네이버 CUE:는 GPT나 클로드, 제미나이 같은 생성형 AI와는 결이 다르다. LLM(대형언어모델) 기반 생성형AI는 기존이 지정된 매개변수 혹은 온라인 데이터를 가져와 답변하는 방식이다. 네이버 CUE:는 문장을 인식하고, 네이버 검색창에서 찾을 수 있는 데이터를 가공해서 전달한다. 또한 네이버 플랫폼과 연결해 쇼핑, 지도, 예약 등으로 연계할 여지가 있다.

특히 네이버 검색 결과를 바탕으로 하는 만큼 우리 문화에 맞춘 검색 결과를 잘 가져온다. 예를 들어 ‘광화문 주변에 방문하기 좋은 갤러리를 찾아줘’라던가, ‘참치 김치찌개 끓이는 법을 소개해줘’같이 우리나라 사람이 더 잘 대답할만한 내용을 찾는데 특화돼 있다. 결과 자체가 내국인이 쓴 블로그나 자료 등을 기반으로 가져오기 때문이다. 이런 측면에서는 외국계 서비스보다 한 발 앞선다.

이야기를 꾸며내지 않고 검색 결과를 바탕으로 잘 풀어낸다. 다만 네이버에서도 잘 검색되지 않는 역사적, 학술적 결과의 경우 틀리는 경우가 종종 있다 / 출처=IT동아

지난해 할루시네이션으로 우려가 있었던 부분은 완벽하진 않지만 크게 개선됐다. 최근 LLM 업계에서는 검색 증강 생성(RAG) 기술을 이용해 AI의 할루시네이션을 줄이고 있다. RAG는 백과사전이나 논문 등 신뢰할 수 있는 데이터 소스를 활용해 생성형 AI의 오류를 보완하는 기술이다. CUE: 역시 검색된 결과를 바탕으로 생성해 할루시네이션을 줄였고, 세종대왕이 애플 맥북을 던졌다는 등의 우스꽝스러운 문제는 거의 발생하지 않는다.

허술한 기본기, 전반적 개선 시급해

출시 10개월이 지났다. 당초 계획대로 CUE:는 작년 11월 네이버 검색 서비스에 적용됐고, 예정대로라면 정식 서비스 기간이어야 한다. 하지만 아직도 시범 단계고, 네이버 CUE:와 관련해서는 별 다른 소식이 없다. 글로벌 기업들과의 경쟁을 위해 서비스를 고도화하는 목적이라면 여전히 개발 중이더라도 이해가 간다. 문제는 시범 서비스더라도 기초적인 부분에서 부족한 모습이 보인다.

네이버 CUE:에 ‘오늘 잘 팔리는 물건?’이라고 입력하자 잘 팔리지 않을 것 같은 물건을 추천한다 / 출처=IT동아

예를 들어 네이버 CUE:에 ‘오늘 잘 팔리는 물건?’이라고 질문했다. 정상적이라면 7월 12일 자로 네이버 쇼핑에서 가장 인기 있는 제품을 추천하는 게 맞겠지만 예상외의 답을 내놨다. 목록에는 그린키위가 두 번이 나왔고, 또 가스레인지와 텔레비전 두 개를 각각 제시했다.

이중 가스레인지는 2017년 출시된 제품이고, 실제 검색량에서 신제품보다 한참 밀린다. 심지어 신제품조차도 올해 기준으로는 검색량이 거의 없다. 텔레비전 역시 올해 출시된 제품도 있고, 이미 판매 기한이 지나 리퍼비시만 판매하는 제품도 있다. 오늘 잘 팔리는 물건이라는 질문에 대한 대답으로는 적절치 않다. 쇼핑 관련 검색이 강점인데 다소 아쉬운 부분이다.

네이버 CUE:는 온라인으로 동작하는 모델인데 시간이 맞지 않다. 심지어 일관적으로 틀리는 게 아니라 매번 시간을 다르게 말한다 / 출처=IT동아

더 큰 문제는 시간 개념이다. CUE:에 ‘오늘이 며칠이지’라고 질문했다. 네이버 포털 사이트 서버 시간 기준으로는 13시 18분이지만 네이버 CUE:는 오전 6시 41분이라고 답했다. 이후 16시 49분에 동일한 질문을 했는데 오전 4시 41분이라고 말하며, 이번 주에는 15일 월요일이 공휴일인 제헌절이라고 답한다.

제헌절은 7월 15일이 아닌 17일이며, 1948년 제정 이후 단 한번도 7월 15일이었던 적이 없다. 공휴일 지정도 2008년에 해제됐다. 할루시네이션이 개입했다고 해도, 현재 시간이나 제헌절 날짜처럼 정의된 사실이 틀리는 점은 문제가 있다.

연이어 시간을 질문했는데 2023년, 새벽 시간대로 알려준다. GPT-4o의 경우 처음엔 시간을 인지하지 못했으나, 위치 정보만 가지고 정확한 시간을 말했다 / 출처=IT동아

특히나 시간 자체가 고정적으로 틀린다면 단순히 설정에 오류가 있다고 생각하겠지만, 오류에 대중이 없다. ‘지금 몇 시야?’라고 질문하면 2023년 9월 22일 오전 2시 50분이라 답하고, 10초 뒤 질문하니 오전 3시라고 말한다. 어떤 경우에는 현재 기준 5시일 때 5시 6분이라고 답한다. 서버 시간 등이 잘못 설정된 게 아니라 시간 자체를 인식하는 데 문제가 있는 것으로 보인다.

시간 오류로 검색 체계에 혼란··· 필터링도 보완 필요

2024년 7월 12일에 ‘작년에 온 태풍 리스트’를 검색했는데, 2022년 태풍 리스트를 제공한다 / 출처=IT동아

시간이 맞질 않으니 단순 검색에도 문제가 생긴다. CUE:에 ‘작년에 온 태풍 리스트’를 입력했다. 올해를 2024년으로 인식하고 있다면 2023년에 상륙한 태풍 카눈을 소개했겠지만, 2022년 상륙한 힌남노, 난마돌, 무이파를 소개했다. 검색어 자체가 2023년이 아니라 작년으로 표기해 검색 자체에 모호함이 있을 수 있는데, 시간 기준이 제대로라면 당연히 올해 기준으로 작년인 2023년의 결과를 제공했어야 했다.

시간 인식에 대한 문제뿐만이 아니라 이해 능력도 우려되는 부분이다. 네이버에 ‘작년에 온 태풍 리스트’를 검색하면 2023년 9월에 올라온 글이 많다. 2023년에는 태풍이 카눈 하나밖에 상륙하지 않아서 검색 결과가 많이 없고, 오히려 2022년, 2023년에 작년 태풍에 대해 언급하는 글이 많다. 단순히 ‘작년에 온 태풍’이라는 키워드만 놓고 날짜 계산 없이 가장 많이 뜨는 2022년 검색 글을 가져온 게 아닌가 싶은 대목이다.

오후 2시 정각에 오늘의 종가를 질문했더니, 3시 30분 기준으로 답했다. 확정되지 않은 미래의 일을 결과로 제공했다 / 출처=IT동아

주식처럼 실시간 데이터를 가져오는 데도 오류가 생긴다. 예를 들어 2시 00분에 ‘삼성전자 종가’라고 짧게 질문했다. 주식 종가는 3시 30분 장 마감 시간에 결정되므로, 2시 기준이면 장중 가격으로 알려줘야 한다. 이때 주식가는 2시 00분 장중 가격과 정확하게 일치하는 값으로 알려줬지만, 질문에 ‘종가’라는 단어가 들어간 탓인지 표기를 3시 30분 기준 종가라고 알려줬다.

오늘자 LG전자 및 삼성전기 주가를 질문했다. 둘 다 시간은 정확했으나, 연도를 잘못 대답했다 / 출처=IT동아

‘오늘 삼성전기 주가’, ‘오늘 LG전자 주가’를 질문한 경우에도 2024년 7월 12일 기준 주가 및 거래량, 상승 가격을 정확히 알려주면서도 날짜는 2023년 7월 12일로 표기하는 오류가 발생했다. 2023년 7월 12일 두 기업의 종가 및 시가를 확인했지만 일치하지 않았다.

여러차례 실시간 주가 검색을 했는데, 종종 실시간 주식 정보를 제공할 수 없다는 대답을 받았다. 관련 필터링이 허술한 탓이다 / 출처=IT동아

게다가 앞서 여러 차례 주가 관련 질문에 대답을 들을 수 있었고, 코스피를 물어본 질문에는 전날 거래 마감가 및 상승 지수는 물론 장중 최고가와 상승분 반납 여부까지 상세히 제공했다. 그런데 나스닥 지수를 질문하거나, 문장 형태로 질문하니 챗봇으로써 실시간 주식 정보를 제공할 수 없다며 금융투자협회 전자공시서비스(DART)와 증권사 앱 사용을 권장한다는 답변을 내놓는다. 이와 관련한 프롬프트 필터링 규칙도 개선이 시급해보인다.

다행히 총기 구매 및 폭약 제조, 마약 거래, 불법 도박 등과 관련된 문제는 완벽하게 필터링되었으며, 질문에 특수문자를 섞거나 유도 질문을 하더라도 뚫을 수 없었다. 물론 미국 아마존 및 이베이, 일본 아마존, 라쿠텐 등에서 내국인이 적법한 서류를 갖추면 SIG P226 자동권총을 온라인 구매할 수 있다고 답하는 등 자잘한 오류는 있었다.

경쟁자는 전 세계 빅테크, 앞으로 네이버의 방향은?

최근 국내 생성형 AI 시장의 분위기는 냉랭하다. 카카오는 2021년 KoGPT를 공개하며 대화형AI의 가능성을 보여주었지만, KoGPT-2의 공개 일자를 미루고 있다. 서비스-드리븐AI라는 전략을 발표하며 카카오 기반의 AI 서비스 생태계를 만들겠다고 공언했지만, 개발을 이끌던 카카오브레인은 인수합병 얘기가 나오고 김일두 카카오브레인 대표도 퇴사하며 KoGPT-2의 미래는 어둡기만 하다.

네이버 역시 대내외적으로 쉽지 않다. 마이크로소프트, 구글, 메타 등 외국계 대기업들이 막대한 자본을 바탕으로 전력투구하는 가운데, 하이퍼클로바X라는 독자 영역으로 경쟁력을 갖추는 상황이다. 하지만 네이버 CUE:를 공개하고 검색 생태계를 새롭게 구축하겠다는 큰 그림을 그리면서도, 1년 동안 별 다른 개선이 없었다는 점은 아쉽다. 여전히 베타 서비스로 세간의 평가에서 보호를 받고 있지만, 새로운 수준으로 뜯어고쳐야만 시장이 납득할 것으로 보인다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)