"엔비디아, 초대형 오픈소스 AI 모델 개발 중"

엔비디아가 매개변수(파라미터) 1조 개 이상 규모의 초대형 오픈소스(개방형) AI 모델 '네모트론4'를 개발 중이라고 IT 전문매체 디인포메이션이 11일(현지 시간) 보도했습니다.

지난 6월 내놓은 현재 최대 모델 '네모트론3 울트라'의 약 두 배 규모로 세계 최고 수준의 오픈소스 AI 모델과 어깨를 나란히 하는 성능을 목표로 합니다.

엔비디아는 이날 대형 모델에서 '증류' 기법으로 만든 매개변수 300억 개 규모의 경량 모델 '네모트론3.5 라이트닝'도 별도로 공개했습니다.

다만 네모트론4도 규모와 성능 모두 중국 모델에는 아직 못 미칩니다.

문샷 키미K3(2조 8천억 개), 알리바바 큐원3.8-맥스(2조 4천억 개), 딥시크 V4-프로(1조 6천억 개) 등 중국의 최신 오픈소스 모델보다 매개변수가 훨씬 적습니다.

네모트론3 울트라도 관련 벤치마크에서 미국 오픈소스 모델 중 2위에 그쳐 중국 최상위 모델과는 격차가 크고 전체 순위로는 상위 40위권 밖입니다.

엔비디아는 이런 격차를 소형 모델의 성능을 끌어올리는 압축 기술로 상쇄하겠다는 전략입니다.

미국 오픈소스 모델이 중국에 뒤처졌다는 위기감은 오픈소스 모델을 둘러싼 미 정치권의 규제 논쟁으로도 이어지고 있는데, 젠슨 황 엔비디아 CEO는 오픈 모델이 "안전, 사이버보안, 과학적 진보, 국가 안보를 증진한다"며 오픈소스를 적극 옹호해 왔습니다.

네모트론4의 사전학습 데이터와 아키텍처는 일부 확정됐으나 정확한 사양과 출시일은 아직 정해지지 않았고 최종 학습도 마무리되지 않아 이르면 올가을 늦게 완성될 것으로 알려졌습니다.

이번 모델 개발에는 이전보다 훨씬 많은 인력이 투입되고 있습니다.

엔비디아의 직전 대형 모델을 다룬 연구 논문에는 저자가 570명 참여했는데, 직원들은 네모트론4에 이보다 더 많은 인원이 참여할 것이라고 전했습니다.

엔비디아는 이런 오픈소스 드라이브에 맞춰 자체 모델 학습에 쓰이는 컴퓨팅 자원 지출도 대폭 늘렸습니다.

자사 칩을 사들이는 클라우드 사업자들로부터 AI 서버를 다시 임차하는 방식으로, 지난 4월 기준으로 다년간 클라우드 서비스 약정 규모를 2031년 초까지 280억 달러(약 394조 원)로 확대했습니다.

이는 1년 전보다 약 3배로 늘어난 금액입니다.

다만 이런 전략은 엔비디아를 미묘한 입장에 놓이게 합니다.

최대 고객인 오픈AI 등 선두권 AI 개발사, 엔비디아가 투자한 리플렉션AI·씽킹머신스랩 등 오픈소스 스타트업들과 사실상 경쟁하는 구도가 될 수 있기 때문입니다.

엔비디아는 오픈AI에만 300억 달러(약 422조 원)를 투자한 상태입니다.

그럼에도 엔비디아 안팎에서는 다양한 오픈소스 모델이 늘어날수록 결국 자사칩 수요도 함께 늘어난다는 계산이 깔려 있습니다.

AI 모델 평가업체 아레나의 아나스타시오스 앙겔로풀로스 최고경영자(CEO)는 "이들 기업 중 어느 곳이 훌륭한 오픈소스를 만들든 엔비디아가 승리한다"고 했습니다.

엔비디아는 리플렉션AI·커서·씽킹머신스랩·미스트랄·프라임인텔렉트·코그니션 등이 참여하는 '네모트론 연합(Nemotron Coalition)'을 통해 학습 데이터와 아이디어를 제공받고 있습니다.

프라임인텔렉트는 모델 학습을 돕기 위해 시뮬레이션 환경 30만 개를 제공했습니다.

코그니션은 코딩 데이터 제공을 논의 중인 것으로 전해졌습니다.

네이버 클라우드도 지난 6월 연합에 합류했으나 네모트론4 개발 관련 역할은 아직 알려지지 않았습니다.

다만 엔비디아조차 모델 개발에 쓸 수 있는 자금에 한계가 있습니다.

회계연도 기준 클라우드 서비스 약정 규모는 70억 달러로, 오픈AI·앤트로픽의 지출에는 못 미칩니다.

하지만 미국과 중국을 통틀어 대다수 오픈소스 모델 개발사가 지금까지 조달한 누적 자금보다는 많은 수준입니다.

(사진=게티이미지, 연합뉴스)

김민표 기자 minpyo@sbs.co.kr

SBS