하이퍼클로바X, 챗GPT·제미나이보다 한국어 이해력 높았다

한국판 AI 성능 평가서 정확도·한국 특화 지식 분야 ‘최고 득점’

‘토종 인공지능(AI)’인 네이버 하이퍼클로바X가 한국판 AI 성능 평가에서 오픈AI, 구글의 생성형 AI보다 높은 점수를 받았다.

네이버클라우드는 하이퍼클로바X가 한국판 AI 성능 평가 체계 ‘KMMLU(Measuring Massive Multitask Language Understanding in Korean)’에서 오픈AI, 구글AI보다 높은 점수를 기록했다고 27일 밝혔다.

KMMLU는 국내 오픈소스 언어모델 연구팀인 ‘해례(HAE-RAE)’가 이끄는 AI 성능 평가 지표 구축 프로젝트다. 인문학, 사회학, 과학·기술 등 45개 분야에서 전문가 수준의 지식을 묻는 3만5030개 문항으로 구성돼 있다. 수학적 추론 능력과 같이 전 세계 공통으로 적용할 수 있는 지식을 묻는 문항이 80%, 한반도 지리·국내법 등 한국 특화 문제 해결 능력을 평가하는 문항이 20%다. 이 지표는 한국어 문제들로 구성돼 AI의 한국어 이해 역량을 더 정확하게 평가할 수 있으며, AI의 보편적 능력과 지역 지식을 고르게 측정해 한국 사용자에게 유용한 AI를 종합적으로 판단할 수 있다.

KMMLU 연구 논문에 따르면, 하이퍼클로바X는 오픈AI의 GPT-3.5-터보(Turbo)와 구글의 제미나이 프로(Gemini-Pro)보다 높은 점수를 기록했다. ‘정확도’를 측정한 전체 점수는 하이퍼클로바X가 54.32점으로 제미나이 프로(48.64점)와 GPT-3.5-터보(42.47점)에 앞섰다. 한국 특화 지식 질문에서도 하이퍼클로바X(55.21점)가 가장 높은 점수를 얻었다. 이는 교육·법률 등 국내 정보의 중요성이 큰 산업 분야에서는 하이퍼클로바X가 가장 유용할 수 있다는 의미라고 네이버클라우드는 설명했다.

네이버클라우드는 KMMLU를 통해 입증된 성능 경쟁력을 바탕으로 하이퍼클로바X를 보안과 성능을 모두 갖춘 ‘소버린(Sovereign) AI(국가의 데이터 주권과 규제 준수를 보장하기 위해 개발된 인공지능)’ 솔루션으로 발전시킬 계획이다.

배문규 기자 sobbell@kyunghyang.com