[기획] 출시초 `성능·신뢰` 우려 낳는 클로바X

숫자에 약하고 추론기능 열세
질문 자체 이해 못하는 경우도
이용자들 "기대 못미쳐" 평가

최수연 네이버 대표이사가 지난달 24일 서울 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 열린 '팀 네이버 콘퍼런스 단(DAN) 2023'에서 초대규모 AI '하이퍼클로바X' 관련 발표를 하고 있다. [네이버 제공]

클로바X 서비스 화면. 온라인 캡처

네이버가 최근 공개한 한국형 챗GPT '클로바X'에 대한 성능과 신뢰성 우려가 불거지고 있다. 정식 출시가 아니라 베타 서비스 단계지만, 해외 빅테크의 생성형 AI(인공지능)를 접하며 눈높이가 높아진 국내 이용자들이 "기대에 못 미친다"는 평가를 잇따라 내놓고 있다. 국산 AI에 대한 높았던 기대가 실망감이란 부메랑으로 돌아왔다.

6일 관련 전문가들에 따르면 클로바X는 질문에 대해 제공하는 답변의 정보량이 챗GPT 등 경쟁서비스에 비해 적다. 한국어 데이터를 집중적으로 학습했지만 영어를 포함한 전체 데이터 학습량이 뒤처지는 게 원인으로 추정된다. 숫자에 약하고 추론 기능도 열세라는 지적이다. 개인정보 보호나 저작권 침해 등을 이유로 답변을 하지 않는 경우도 잦다. 같은 질문을 해도 답을 할 때가 있고 안할 때도 있다. 같은 답변을 반복 재생한다는 문제도 종종 있다.

이에 대해 AI 전문가인 전용준 리비젼컨설팅 대표는 "한국어에는 능숙해 보이지만 상식적인 질문에 대한 답변과 논리적 추론 능력이 뒤처진다. 이는 데이터 부족이 원인으로 생각된다"며 "서비스의 근간인 LLM(대규모언어모델)을 보완할 필요가 있어 보인다"고 밝혔다.

익명을 요구한 한 AI 전문가는 "클로바X에 질문을 던졌을 때 이해도가 낮다 보니 답답함이 느껴진다. 그 분야을 전혀 모르는 어린 학생에게 질문을 이어나가는 느낌"이라면서 "학습한 데이터의 양과 학습 기간의 격차가 원인인 것 같다"고 평가했다.

GPT-4가 계란 9개와 노트북, 책, 유리병, 못을 안정적으로 쌓는 과제를 완벽하게 해내 화제가 된 것과 달리 클로바X는 이 같은 추론에서 특히 취약하다. 질문 자체를 이해하지 못하는 경우가 꽤 있다.

질문에 대한 답으로 신뢰성이 검증되지 않은 온라인 백과사전이나 블로그 등의 글을 제시하는 것도 우려되는 점이다. 온라인 백과사전은 불특정 다수가 내용 작성에 참여하는 구조이다 보니 부정확하거나 이념적으로 편향된 정보가 담긴 경우가 있다. 정치인이 선거운동 과정에서 여기에 실린 잘못된 내용을 인용해 경쟁 후보를 비방했다가 처벌을 받기도 했다. 언론 보도를 가공하거나 무단 전재한 블로그 링크를 답변과 함께 보여주기도 하는데, 이는 뉴스 저작권 위반 소지가 있다. 최근 한국신문협회, 온라인신문협회 등 언론단체들은 AI 기업들에게 AI 학습 데이터 이용대가 지불을 요구하고 있다.

네이버 관계자는 "클로바X로 제공하는 정보의 양과 수준을 이용자 피드백을 통해 높여가고 답변의 참고정보(출처) 범위도 확대할 계획"이라고 밝혔다. 이어 "참고 위주의 답변은 할루시네이션(거짓말)을 막기 위한 조치이며, 멀티모달을 지원하는 등 연말까지 성능 고도화 노력을 해갈 계획"이라고 말했다.

네이버 시가총액은 이날 종가 기준 35조1065억원으로, 연중 최고치였던 지난달 7일(38조4000억원)에 비해 3조2935억원 줄었다. 주가는 '하이퍼클로바X' 발표 당일 6.2% 올랐다가 다음날 7.8% 내렸다.

한편 전문가들 사이에선 아직 베타서비스인 만큼 좀더 지켜볼 필요가 있다는 목소리도 많다. 구글 바드도 공개 초기에 성능 이슈로 구글 시총이 크게 꺾였지만 반전을 이뤄냈다. 글로벌 빅테크에 종속되지 않도록 선택권을 줬고, 국산AI가 이제 시작인 만큼 평가를 서두를 필요는 없다는 지적도 있다.

조성배 연세대 AI대학원장은 "세계 세번째로 독자 LLM을 내놓은 점은 고무적이지만, 글로벌 기업들이 기존에 내놓은 것에 비해 나은 성능을 보이지 못한 것은 사실"이라면서도 "킬러앱 발굴과 B2B·B2G 수익모델 확보가 관건"이라고 짚었다.

팽동현기자 dhp@dt.co.kr