데이터브릭스, 생성형 AI 플랫폼 ‘모자이크 ML’ 인수

대형 언어 모델(LLM) ‘MPT-7B’로 잘 알려진 모자이크ML 1조 7천억원 규모에 인수
두 선도 업체의 시너지 기대… 생성형 AI 모델에 대한 접근성 확대

[이미지] 데이터브릭스가 생성형 AI 플랫폼 ‘모자이크 ML’을 13억 달러에 인수한다.> 데이터브릭스 x 모자이크ML

업계 선도적인 데이터 및 AI 기업 데이터브릭스(Databricks)가 생성형 AI 플랫폼 모자이크ML(MosaicML)을 약 13억 달러(약 1조 7천억 원)에 인수하는데 최종 합의했다. 이번 인수를 통해, 양 사는 생성형 AI 모델에 대한 접근성을 높여 모든 조직이 자체 데이터로 AI 모델을 구축, 소유 및 보호할 수 있도록 돕는다는 방침이다.

모자이크ML은 최첨단 대규모 언어 모델(LLM) ‘MPT-7B’로 잘 알려져 있다. MPT-7B는 공개 이후 330만 건의 다운로드를 기록할 정도로 인기를 끌었다. 최근에는 새로운 버전인 MPT-30B를 선보이며 기업들이 자체 데이터를 이용해 비용 효율적인 방식으로 AI 모델을 신속하게 구축하고 학습하도록 적극 지원하고 있다. 현재 앨런 AI 연구소(Allen Institute for AI), 제너럴 인텔리전트(Generally Intelligent), 히포크라틱 AI(Hippocratic AI), 리플릿(Replit), 스캐터랩(Scatter Lab) 등이 모자이크ML의 생성형 AI 기술을 채택해 활용하고 있다.

알리 고드시(Ali Ghodsi) 데이터브릭스 CEO는 “기업들이 AI가 가져다주는 혜택을 온전히 누리기 위해서는 데이터에 대한 제어권을 확보해야 한다. 데이터브릭스와 모자이크ML은 AI를 보편화하고, 레이크하우스를 생성형 AI 및 LLM 구축에 가장 이상적인 플랫폼으로 발전시키는데 상당한 시너지를 낼 수 있을 것”이라며, “‘투명성’에 중점을 두고 오픈소스 생태계에 기여해 온 양 사의 공통된 비전은 전례없는 컴퓨팅 혁명을 마주하고 있는 우리 고객들에게 더 큰 가치를 제공할 것”이라고 밝혔다.

생성형 AI 모델을 신속하고 안전하게 구축, 소유하도록 지원

현재 많은 기업들이 소중한 자산인 데이터에 대한 제어 능력을 갖추면서도 생성형 AI와 LLM을 가장 효과적으로 활용할 수 있는 방법을 모색하고 있다. 자체 AI 모델을 구축, 소유하는 것은 물론, 이를 안전하게 보호하길 원하는 것이다.

데이터브릭스 레이크하우스 플랫폼에 모자이크ML의 기술이 결합되면 높은 비용 부담 없이 가치 있는 데이터에 대한 제어, 보안 및 소유권을 효율적으로 유지할 수 있다. 모자이크ML의 모델 학습 자동 최적화 기술은 표준화된 접근방식과 비교해 2배에서 7배 빠른 속도를 지원하며, 선형에 가까운 확장성을 기반으로 수십억 개의 매개변수를 가진 모델을 단 몇 시간 만에 학습시킬 수 있다. 뿐만 아니라, 양 사의 기술이 결합된 플랫폼은 LLM을 훈련시키고 사용하는데 드는 비용을 대폭 줄여준다.

모자이크ML의 생성형 AI 학습 기술이 적용된 데이터브릭스의 통합 데이터 및 AI 플랫폼은 높은 유연성을 제공하면서 강력하면서도 광범위한 AI 사용사례를 발굴해 낼 것으로 기대된다.

공통의 비전 실현을 위해 노력할 예정

이번 인수로 모자이크ML의 업계 선도적인 연구팀을 포함한 전 직원이 데이터브릭스에 합류하게 된다. 현재 가장 인기있는 고급 오픈소스 모델인 MPT-30B와 모자이크ML 제품을 구동하는 학습 알고리즘을 개발한 모자이크ML의 머신러닝(ML) 및 신경망 연구팀은 데이터브릭스에 합류 후에도 모델 학습 효율 개선을 위한 선구적인 AI 연구를 이어나갈 계획이다.

양 사는 모자이크ML 플랫폼을 꾸준히 확장 및 통합함으로써, 조직들이 생성형 AI 모델을 구축, 소유 및 보호할 수 있는 완벽한 통합 플랫폼을 제공할 예정이다. 이를 통해, 고객들이 자체 모델을 구축하고 그들 고유의 데이터로 모델을 학습하여 차별화된 지적재산(IP)을 창출하도록 도울 계획이다.

모자이크ML의 공동창립자 겸 CEO 나빈 라오(Naveen Rao)는 “모자이크ML은 모두가 자신만의 관점을 담아 자체 모델을 구축하고 학습시킬 수 있는 세상을 구현하기 위해 노력하고 있다. 데이터브릭스와의 협력으로 이러한 믿음을 실현하는데 한 걸음 더 내딛게 됐다”며, ”모자이크ML은 어려운 엔지니어링 및 연구 문제를 해결하여 누구나 대형 모델에 더욱 쉽게 접근할 수 있도록 하겠다는 목표로 시작됐다. 최근 생성형 AI로 인한 변화의 파도 속에 이러한 미션은 더욱 중요해졌다. 앞으로 데이터브릭스와 함께 공통의 미션을 위한 여정을 계속해 나갈 것”이라고 설명했다.

한편, 이번 인수는 필요한 규제승인을 포함한 관례적인 거래 종결 조건을 따른다.

데이터브릭스는 미국 샌프란시스코에서 6월 26일부터 29일까지 데이터브릭스의 최신 업데이트 기술 및 소식을 공유하는 ‘데이터 + AI 서밋’ 행사를 진행한다. 온라인 참석은 행사 페이지에서 등록이 가능하며, 한국 시간으로 6월 29일과 30일 양일 오후 12시에는 한국어로 더빙된 온라인 행사가 진행될 예정이다. 또한, 7월 1일부터 14일까지는 250여개 세션을 온디맨드로 다시보기 가능하다.