메타, 차세대 LLM '라마3' 공개…"학습 데이터 질과 양 개선"
전체 맥락을 이해하기 위해서는 본문 보기를 권장합니다.
메타가 다양한 목적으로 사용할 수 있는 대규모 언어모델(LLM) '라마3'(Llama 3)을 오픈소스로 공개했다고 19일 밝혔다.
라마3는 사전훈련과 미세조정을 마친 80억 개(8B)와 700억 개(70B) 매개변수 모델 두 가지로 공개됐다.
라마3 모델은 홈페이지에서 다운로드가 가능하며 AWS, 데이터브릭스, 구글 클라우드, 허깅페이스, IBM 왓슨x, 마이크로소프트 애저 등 다양한 플랫폼에서도 공개된다.
이 글자크기로 변경됩니다.
(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.
(서울=뉴스1) 김승준 기자 = 메타가 다양한 목적으로 사용할 수 있는 대규모 언어모델(LLM) '라마3'(Llama 3)을 오픈소스로 공개했다고 19일 밝혔다.
라마3는 사전훈련과 미세조정을 마친 80억 개(8B)와 700억 개(70B) 매개변수 모델 두 가지로 공개됐다.
이 두 모델은 현재 동급의 오픈소스 모델 중 최고 수준의 성능을 나타냈다. '대규모 다중작업 언어 이해'(MMLU)를 포함한 다양한 업계 표준 벤치마크에서 높은 성적을 받았으며 추론과 코드 생성, 지시 수행에 있어 라마2보다 성능이 개선됐다.
라마3의 성능 향상은 모델의 사전 훈련과 사후 훈련 과정을 고도화함으로써 이루어졌다.
사전 훈련 데이터 세트의 양과 질을 높였다. 라마3은 라마2 대비 7배 이상 많은 데이터를 학습했다. 또 일상적인 질문부터 과학, 기술, 공학, 수학(STEM) 분야, 코딩, 역사 지식에 이르기까지 다양한 분야의 데이터 세트가 사용됐다.
메타는 우선 8B와 70B 매개변수 모델을 선보이며 연구원과 개발자의 피드백을 통해 지속 발전시켜 나갈 방침이다. 더 큰 규모의 모델은 현재 훈련 중으로 추후 오픈소스로 공개된다.
라마3 모델은 홈페이지에서 다운로드가 가능하며 AWS, 데이터브릭스, 구글 클라우드, 허깅페이스, IBM 왓슨x, 마이크로소프트 애저 등 다양한 플랫폼에서도 공개된다. 하드웨어 측면에서는 AMD, AWS, 델, 인텔, 엔비디아와 퀄컴이 파트너로 함께한다.
seungjun241@news1.kr
Copyright © 뉴스1. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지.
- 식당서 일하는 엄마 성추행당하자 울어버린 어린 딸[CCTV 영상]
- '성숙한 의상' 김주애, 후계자 이미지 부각?[노동신문 사진]
- 엄지윤 "남자들에 자연산 가슴을 '참젖' 자랑…애 낳은 줄 알았을 것"
- "애 안낳으면 여성이냐" 日외무상 발언 논란 일파만파
- 배현진 "文 참 재밌는 분…능청맞게 '영부인 단독외교'라니, 다시 까볼까?"
- 한예슬, 신혼여행서도 자기관리 '끝판왕'…스트레칭 속 쭉 뻗은 몸매 [N샷]
- 김사랑, 완벽한 옆 라인…볼륨감 몸매 드러낸 흰 티·청바지 여신 [N샷]
- "저 아니에요" …허경환, '뺑소니 입건' 김호중과 유흥주점 동석 개그맨설 부인
- 이세영, 하와이서 과감해진 사극 여신? 가슴골 노출 파격 휴양지룩 [N샷]
- '이상해 며느리' 김윤지, 임신 32주차 만삭에 브라톱+레깅스…폭풍 운동 [N샷]