Naver’s HyperCLOVA X outperforms rivals in Korean AI test
이 글자크기로 변경됩니다.
(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.
KMMLU is a performance evaluation metric established by the prominent open-source language model research team HAE-RAE in Korea.
The evaluation consists of 35,030 questions of expert-level knowledge across 45 domains such as humanities, social sciences, and science & technology.
About 80 percent of the questions are related to globally applicable extensive knowledge, including mathematical inference capabilities. The remaining 20 percent assess the model’s ability to solve Korea-specific problems, such as the geography of the Korean Peninsula and domestic laws.
The test questions are composed in Korean, allowing for a more accurate assessment of the AI’s understanding of the language and evaluating its universal capabilities along with local knowledge to provide a comprehensive judgment for Korean users, according to Naver.
Building on the proven performance competitiveness through KMMLU, Naver Cloud plans to further develop HyperCLOVA X into a Sovereign AI solution that has both security and performance.
Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지
- 직원 절반이 ‘연봉 3억’ 넘는 이 곳…주가마저 매력적이라는데 - 매일경제
- “학력·경력 하나도 안봅니다”…대규모 인력 채용 나선 이 회사 “일주일 교육후 현장 투입”
- [속보] 박민식, 영등포을 경선 포기…“박용찬 후보 지지” - 매일경제
- 피투성이 된 女축구 심판…스페인 프로축구서 무슨 일이 - 매일경제
- 여행자가 뽑은 가성비 해외여행지 순위, 최고와 최악 어디? [여행가중계] - 매일경제
- 백종원 유일한 실패작? 빽다방 알바생 항의 폭발…‘이 메뉴’ 뭐길래 - 매일경제
- 10대 따라 경복궁 낙서한 20대 “복구 비용 변상…깊이 죄송” - 매일경제
- “오늘 끝나는 개포 줍줍, 혹시 나도?”…‘이 사람’은 청약 안된다는데 - 매일경제
- “버섯 빼주세요” 하면 배달음식이 한 그릇 더?…황당한 맘카페 ‘꿀팁’ - 매일경제
- “진짜 설렌다...이런 기분 처음이야” 시범경기 데뷔 앞둔 이정후의 환한 미소 [MK현장] - MK스포