메타, 오픈소스 모델 '라마3' 공개…4000억 매개변수 모델도 준비
전체 맥락을 이해하기 위해서는 본문 보기를 권장합니다.
메타가 지난해 공개한 오픈소스 LLM(대규모언어모델) '라마'의 최신 모델인 '라마3'를 19일 공개했다.
이날 메타 홈페이지에 공개된 내용에 따르면 라마3는 사전훈련과 미세조정을 마친 80억개와 700억개 매개변수 두 가지 모델이다.
현재 4000억개 매개변수 모델도 학습 중이다.
라마3의 성능 향상은 모델의 사전훈련과 사후 훈련 과정을 고도화함으로써 이뤄졌다.
이 글자크기로 변경됩니다.
(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.
메타가 지난해 공개한 오픈소스 LLM(대규모언어모델) '라마'의 최신 모델인 '라마3'를 19일 공개했다.
이날 메타 홈페이지에 공개된 내용에 따르면 라마3는 사전훈련과 미세조정을 마친 80억개와 700억개 매개변수 두 가지 모델이다. 현재 4000억개 매개변수 모델도 학습 중이다.
두 모델은 현재 동급의 오픈소스 모델 중 최고 성능을 자랑한다. '대규모 다중작업 언어 이해'(MMLU)를 포함한 다양한 업계 표준 벤치마크에서 높은 성적을 받았다. 추론과 코드 생성, 지시 수행에 있어 '라마2'보다 성능이 개선됐다.
라마3의 성능 향상은 모델의 사전훈련과 사후 훈련 과정을 고도화함으로써 이뤄졌다. 사전 훈련을 위해 데이터셋 양을 늘리고, 필터링 과정을 거쳐 고품질 데이터만을 선별했다. 라마3는 15조 이상의 토큰으로 훈련됐으며, 이는 라마2 대비 7배 이상 많다.
또 일상적인 질문부터 과학, 기술, 공학, 수학(STEM) 분야, 코딩, 역사 지식에 이르기까지 다양한 분야의 데이터 세트가 사용됐다. 라마3 모델은 홈페이지에서 다운로드할 수 있다. AWS, 데이터브릭스, 구글 클라우드 등 다양한 플랫폼에서도 공개된다. 하드웨어 측면에서는 AMD, AWS, 델, 인텔, 엔비디아와 퀄컴이 파트너로 함께 한다.
김승한 기자 winone@mt.co.kr
Copyright © 머니투데이 & mt.co.kr, 무단 전재 및 재배포 금지
- "하차해라" 시청자 요구 쏟아지자…'삼혼 논란' 유영재, 라디오 떠난다 - 머니투데이
- "아빠 제발" 딸 카톡 '읽씹'한 이범수…이윤진 "그 입 다물라" 또 저격 - 머니투데이
- "성범죄 사건 연루+친구 전남친 사귀면서 당당?"…현아 후폭풍 - 머니투데이
- '금전 사기 논란' 티아라 아름, 남친과 결별?…팔로잉 끊고 사진 삭제 - 머니투데이
- "푸바오, 푸바오" 강 사육사가 부르자 푸바오가 중국서 한 행동 - 머니투데이
- 민희진 측 "하이브가 '스톡옵션'으로 기망…30배? 정당한 요구" - 머니투데이
- '30살 연상' 재벌과 비밀 결혼한 미스코리아…전처 딸과 '또래' - 머니투데이
- 초등학생도 "현금이 좋아요"…어린이날 받고 싶은 선물 '1위' - 머니투데이
- 홈캠에 외도 걸린 남편, 되레 고소…공부 뒷바라지한 아내 '분통' - 머니투데이
- 갑자기 '쾅', 피 냄새 진동…"대리기사가 로드킬" - 머니투데이