미디어그룹사람과숲-마커AI 컨소시엄, 한국어 최고 수준의 AI ‘국밥’ 모델 공개

2024. 11. 15. 11:07
자동요약 기사 제목과 주요 문장을 기반으로 자동요약한 결과입니다.
전체 맥락을 이해하기 위해서는 본문 보기를 권장합니다.

미디어그룹사람과숲과 마커AI 컨소시엄이 한국어 최상위 수준의 LLM인 '국밥(Gukbap)' 모델을 허깅페이스에 공개했다.

연구팀을 이끈 정철현 박사는 "국밥 모델은 각 글로벌 파운데이션 모델의 한국어 튜닝 버전들 중 모두 최고 점수를 기록했다"며 "중요한 점은 이 때 사용된 데이터셋이다. 한국어 LLM들 다수가 GPT-4와 같은 최고 수준 모델이 생성해 준 데이터셋으로 훈련되고 있지만 이는 라이선스 규정 위반이라 언제든 소송전에 휘말릴 위험이 있다. 그래서 우리는 라이선스 제한이 없는 오픈소스 티쳐 모델들만을 활용해 씨앗 데이터를 진화시키는 방법을 개발했고 그럼에도 최고 수준에 도달 가능함을 증명했다"고 강조했다.

음성재생 설정
번역beta Translated by kaka i
글자크기 설정 파란원을 좌우로 움직이시면 글자크기가 변경 됩니다.

이 글자크기로 변경됩니다.

(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.

미디어그룹사람과숲과 마커AI 컨소시엄이 한국어 최상위 수준의 LLM인 ‘국밥(Gukbap)’ 모델을 허깅페이스에 공개했다. 이번에 발표된 모델은 Gukbap-Mistral-7B, Gukbap-Qwen2.5-7B, Gukbap-Gemma2-9B 등 세 가지 버전으로, 그 중 Gukbap-Gemma2-9B 모델이 가장 우수한 성능을 보여주었다. 이 모델은 여러 한국어 AI 성능 평가에서 경쟁 모델들을 초과하는 뛰어난 결과를 기록하며 큰 주목을 받았다.

Gukbap-Gemma2-9B 모델은 한국어 사고력 평가(Logickor)에서 8.77점을 기록하며 하이퍼클로바X HCX-003 (7.76점)과 LG엑사원-3.0-7.8B (8.64점)를 능가했다. 한국어 문화 지식 평가(K2-Eval)에서도 4.5점을 얻으며, 하이퍼클로바X(4.38점)과 LG엑사원(4.43점)을 넘는 성과를 달성했다. 또 전문분야별 한국어 능력 평가(KMMLU)에서 46.5점을 기록하며 하이퍼클로바X(54.3점)과 LG엑사원(35.2점) 사이에서 우수한 성능을 보였다.

국밥 모델의 성과는 언어 모델의 한국어 최적화 연구의 성취로 볼 수 있다. 이 모델들은 Mistral 7B (프랑스), Gemma-2 9B (미국), Qwen-2.5 7B (중국) 등 글로벌 오픈소스 모델들을 기반으로 한국어에 특화된 풀 파인튜닝 과정을 거쳤다. 연구팀을 이끈 정철현 박사는 “국밥 모델은 각 글로벌 파운데이션 모델의 한국어 튜닝 버전들 중 모두 최고 점수를 기록했다”며 “중요한 점은 이 때 사용된 데이터셋이다. 한국어 LLM들 다수가 GPT-4와 같은 최고 수준 모델이 생성해 준 데이터셋으로 훈련되고 있지만 이는 라이선스 규정 위반이라 언제든 소송전에 휘말릴 위험이 있다. 그래서 우리는 라이선스 제한이 없는 오픈소스 티쳐 모델들만을 활용해 씨앗 데이터를 진화시키는 방법을 개발했고 그럼에도 최고 수준에 도달 가능함을 증명했다”고 강조했다.

또한 국밥 모델은 한국의 LLM 연구자들에게 남다른 의미가 있다. 미디어그룹사람과숲의 한윤기 대표는 “국밥 모델이 보여준 성과는 오픈소스 LLM만으로도 대기업의 LLM을 능가하는 성능을 낼 수 있음을 입증한 사례”라며 “이는 적은 GPU 자원과 어려운 환경 속에서 연구하는 한국 개발자들에게 위로가 될 것”이라고 평가했다. 이어 그는 “해외나 대기업 LLM에 대한 보안과 의존성을 걱정하던 한국 정부와 기업들에게는 국밥 모델이 좋은 대안이 될 것으로 예상한다”고 덧붙였다.

미디어그룹사람과숲 소개

작가주의적 개성을 가진 크리에이터들이 모여 시작된 미디어그룹사람과숲은 Visual Data에 기반한 디지털라이징, 인공지능(AI), 빅데이터, 자율주행, 가상현실(VR) 등 관련 분야에서 뛰어난 실적을 보유하고 있으며 이에 기반한 자체 기술과 서비스 개발 등 다각도의 사업 확장을 통해 글로벌 시장 진출을 추진하고 있다. 데이터를 매개로 사람 중심의 문화, 사람 중심의 기업이 돼 함께 성장하고 행복할 수 있는 기업으로 자라나고 있다.

이 뉴스는 기업·기관·단체가 뉴스와이어를 통해 배포한 보도자료입니다.

출처:미디어그룹사람과숲

보도자료 통신사 뉴스와이어(www.newswire.co.kr) 배포

Copyright © 뉴스와이어. 무단전재 및 재배포 금지.

이 기사에 대해 어떻게 생각하시나요?