메타, 오픈소스 모델 라마3 공개.. 챗GPT와 본격 경쟁 나선다

메타가 지난해 공개했던 오픈소스 거대언어모델(LLM) 라마(Llama)의 최신 모델인 라마3를 공개했다. 19일 메타는 홈페이지를 통해 라마3의 주요 정보와 모델을 공개했다.

공개된 라마3는 80억개와 700억개 매개변수 두개의 모델로, 4000억개 매개변수 모델도 현재 학습중이다. 메타에 따르면 80억개 모델은 구글의 젬마나 미스트랄의 오픈소스모델 대비 우수한 성능을 갖고 있으며, 700억개 모델은 이며 구글의 제미나이 1.5 프로와 앤스로픽의 클로드3 소네트 모델보다 뛰어나다.

메타에 따르면 종합 성능에서 인간 평가 기준으로 GPT 3.5와 클로드 소네트보다 우수하다는 평가를 받았다.

라마3의 성능 향상은 모델의 사전 훈련과 사후 훈련 과정을 고도화함으로써 이루어졌다. 사전 훈련을 위해 데이터셋의 양을 늘리고, 필터링 과정을 거쳐 고품질 데이터만을 선별했다. 라마3는 15조 이상의 토큰으로 훈련되었으며, 라마2 대비 7배 이상 많은 것이다.

라마3의 사전 훈련에는 일상적인 질문부터 과학, 기술, 공학, 수학(STEM) 분야, 코딩, 역사 지식에 이르기까지 다양한 분야의 데이터셋이 사용되었다.

주요 LLM과 비교한 라마3의 성능에 대한 인간 평가. <메타>

오픈소스인 라마3 모델의 안전하고 책임감 있는 개발과 사용을 위한 다양한 안전장치도 마련했다. 지시 미세조정된 모델은 전문가와 자동화된 도구를 활용한 레드팀 훈련을 통해 부적절한 답변의 가능성을 최소화했다. ‘라마 가드2(Llama Guard 2)’, ‘코드 쉴드(Code Shield)’, ‘사이버 보안 평가 기준2(CyberSec Eval 2)’와 같은 안전 장치와 더불어 새로운 안전 도구들도 도입했다.

메타에 따르면 멀티모달리티, 다국어 대화 기능, 훨씬 더 긴 컨텍스트 창 등의 기능을 갖춘 라마3가 차차 공개될 예정이다.

메타는 라마3를 AI 어시스턴트인 메타AI에 통합시켰다. 페이스북, 인스타그램, 와츠앱 등에서 라마3로 업그레이드된 메타AI를 사용할 수 있게된다.

라마3는 현재까지 공개된 가장 강력한 오픈소스 모델로 많은 곳에서 사용될 것으로 보인다. AWS, 마이크로소프트 애저, 구글 클라우드, IBM 왓슨x, 데이터브릭스, 허깅페이스 등에서 사용이 가능하다. 엔비디아, AMD, 델, 인텔, AWS, 퀄컴 등이 하드웨어 파트너로 함께한다. 이 회사들이 만든 반도체 등에서 라마3가 학습 및 서비스 된다는 것이다.

라마3는 오픈소스 진영을 대표하는 LLM으로 오픈AI의 GPT와 직접적인 경쟁자가 될 것으로 보인다. 메타AI는 챗GPT와 경쟁 서비스가 되고, 스타트업들도 라마3를 기반으로 AI서비스를 많이 개발하게될 가능성이 높다.

[실리콘밸리=이덕주 특파원]