딥노이드 '딥솔라', 한국어 생성AI 성능평가 1위
전체 맥락을 이해하기 위해서는 본문 보기를 권장합니다.
AI(인공지능) 전문기업 딥노이드가 만든 AI모델이 한국어 생성형 AI 성능평가에서 1위 평가를 받았다.
딥솔라는 △Ko-ARC(추론능력, AI가 질문에 대한 답변이 얼마나 적절한지 측정) △Ko-HellaSwag(상식능력, AI가 짧은 글 및 지시사항에 알맞은 문장을 생성하는지 여부 측정) △Ko-MMLU(언어이해력, 방대한 분야의 질문에 대한 답변이 얼마나 정확한지 측정) △Ko-TruthfulQA(환각방지능력, AI가 생성한 답변이 얼마나 진실한지 측정) △Ko-CommonGen V2(한국어 상식 생성 능력, AI가 주어진 조건의 질문에 대한 답변이 한국어 사용자라면 보유하고 있을 일반 상식에 부합하는지 여부 측정) 등 다섯 가지 성능평가지표를 통해 1위를 차지했다.
이 글자크기로 변경됩니다.
(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.
AI(인공지능) 전문기업 딥노이드가 만든 AI모델이 한국어 생성형 AI 성능평가에서 1위 평가를 받았다.
딥노이드는 NIA(한국지능정보사회진흥원)의 '오픈 Ko-LLM 리더보드'에서 이 회사가 만든 '딥솔라'(deep-solar)가 평균 61.45점으로 1위를 기록했다며 15일 이같이 밝혔다.
오픈 Ko-LLM 리더보드는 한국어 LLM 성능 평가를 위해 운영된다. 딥솔라는 업스테이지의 LLM(거대언어모델) '솔라'를 기반으로 딥노이드가 제작했다. 딥솔라가 받은 이 점수는 오픈 Ko-LLM에 등록된 전체 모델 중 가장 높은 점수다.
딥솔라는 △Ko-ARC(추론능력, AI가 질문에 대한 답변이 얼마나 적절한지 측정) △Ko-HellaSwag(상식능력, AI가 짧은 글 및 지시사항에 알맞은 문장을 생성하는지 여부 측정) △Ko-MMLU(언어이해력, 방대한 분야의 질문에 대한 답변이 얼마나 정확한지 측정) △Ko-TruthfulQA(환각방지능력, AI가 생성한 답변이 얼마나 진실한지 측정) △Ko-CommonGen V2(한국어 상식 생성 능력, AI가 주어진 조건의 질문에 대한 답변이 한국어 사용자라면 보유하고 있을 일반 상식에 부합하는지 여부 측정) 등 다섯 가지 성능평가지표를 통해 1위를 차지했다.
딥노이드는 딥솔라에 대해 "원하는 분야 어디로든 확장이 가능해서 사업적 다양화를 추구할 수 있고 한국어 LLM 모델 개발을 통해 경쟁력을 확보했다"며 "뭣보다 인간 피드백을 통한 강화학습을 개선한 것이 특징"이라고 했다. 데이터 학습 중에는 필요 이상으로 데이터를 세밀하게 학습하다 보면 정작 중요한 패턴을 설명할 수 없게 되는 오버피팅(Overfitting, 과대적합) 현상이 발생한다. 딥솔라는 앞의 문제를 해결하기 위해 로스(Loss)에 정규화를 더해 학습의 안정성을 높였다는 설명이다.
현지훈 딥노이드 AI연구소장은 "딥노이드는 이미 다양한 분야에서 AI를 활용한 영상판독 솔루션을 연구개발했고, 성과를 내고 있다"며 "연구중인 딥솔라를 다양한 자사의 사업과 연결해 한층 고도화된 솔루션과 기술을 선보일 것"이라고 했다.
황국상 기자 gshwang@mt.co.kr
Copyright © 머니투데이 & mt.co.kr. 무단 전재 및 재배포, AI학습 이용 금지
- 류준열·한소희 열애설 저격?…혜리 SNS에 올라온 글 "재밌네" - 머니투데이
- "탈퇴해"vs"개소리"… 스키즈 현진 루머에 한·중팬 붙었다 - 머니투데이
- 배우 황덕재, 이혼 고백…"전아내 법원서 우는 모습, 미안하더라" - 머니투데이
- "사기당해 전 재산 다 털려" 안재모 옆 그 배우, 지리산 거주 근황 - 머니투데이
- 카메라 앞 알몸 활보 '나솔사계' 남자 3호…경리 "너무 편하시다" - 머니투데이
- 정준하 "하루 2000만, 월 4억 벌어"…식당 대박에도 못 웃은 이유 - 머니투데이
- 박나래, 기안84와 썸 인정…"깊은 사이였다니" 이시언도 '깜짝'
- "시세차익 25억"…최민환, 슈돌 나온 강남집 38억에 팔았다 - 머니투데이
- "수능 시계 잃어버려" 당황한 수험생에 '표창 시계' 풀어준 경찰 '감동' - 머니투데이
- '아이 셋·아빠 셋' 고딩엄마…이혼+동거소식에 큰아들 "미쳤나 싶었다" - 머니투데이