“생성형AI 시대엔 데이터가 힘” 데이터브릭스, 엔비디아와 협력 강화

데이터 인텔리전스 플랫폼에
엔비디아 쿠다 컴퓨팅 도입해
에너지 효율성 향상·비용 절감

알리 고드시(Ali Ghodsi) 데이터브릭스 공동창립자 겸 CEO(왼쪽)와 젠슨 황(Jensen Huang) 엔비디아 창립자 겸 CEO가 생성형 AI 시대 기업 데이터를 가속화하기 위한 전략의 일환으로 데이터브릭스 데이터 인텔리전스 플랫폼에 엔비디아 쿠다(CUDA) 컴퓨팅을 도입한다고 발표했다. <사진=데이터브릭스>

글로벌 데이터 및 인공지능(AI) 전문 기업 데이터브릭스(Databricks)가 엔비디아(NVIDIA)와의 협력을 확대하고, 데이터 및 AI 워크로드를 최적화하기 위해 자사 데이터 인텔리전스 플랫폼에 엔비디아 쿠다(CUDA) 가속 컴퓨팅을 도입한다고 17일 밝혔다.

이 내용은 데이터브릭스가 미국 현지시간으로 지난 10일부터 13일 개최한 ‘데이터 + AI 서밋’(Data + AI Summit)에서 공유됐다. 기업 데이터를 생성 AI 애플리케이션에 사용하기 위해선 데이터 준비, 큐레이션 및 처리 워크로드가 필수적으로 요구되는데, 이에 양사는 최신 AI 팩토리를 위한 AI 개발 파이프라인의 효율성, 정확성 및 성능을 향상하기 위해 협력한다는 계획이다. 또한 데이터브릭스는 자사 데이터 인텔리전스 플랫폼에 엔비디아 GPU 가속을 위한 기본 지원을 추가할 예정이다.

이는 그동안 양사가 기업에 풍부한 경험을 제공하기 위해 기존 머신러닝(ML) 모델 학습, 생성형 AI 애플리케이션 구축 및 배포, 디지털 트윈 최적화 등의 부문에서 협력해 온 것의 연장선이라는 게 데이터브릭스 측 설명이다.

알리 고드시(Ali Ghodsi) 데이터브릭스 공동창립자 겸 CEO는 “엔비디와의 파트너십을 지속적으로 확장하고 분석 사용 사례와 AI에 걸쳐 고객을 위한 데이터 인텔리전스의 약속을 이행하게 되어 기쁘다”며 “엔비디아와 함께 모든 조직이 자체 데이터를 기반으로 자체 AI 팩토리를 구축하도록 지원할 수 있기를 기대한다”고 말했다.

젠슨 황(Jensen Huang) 엔비디아 창립자 겸 CEO는 “데이터는 AI 산업 혁명의 원동력이며, 가속 컴퓨팅으로 데이터 처리 에너지 수요를 절감하는 것은 지속 가능한 AI 플랫폼을 구현하기 위한 핵심 요건이다”라며 “데이터브릭스는 대규모 데이터 처리의 선구자다. 데이터브릭스의 핵심 컴퓨팅 스택에 엔비디아 쿠다 가속을 도입함으로써 전 세계 고객이 데이터를 사용해 기업용 생성형 AI를 구동할 수 있는 기반을 마련할 예정”이라고 전했다.

알리 고드시(Ali Ghodsi) 데이터브릭스 공동창립자 겸 CEO가 지난 10일부터 13일 개최한 ‘데이터 + AI 서밋’(Data + AI Summit)에서 자사 전략에 대해 발표하고 있다. <사진=데이터브릭스>

구체적으로 데이터브릭스는 자사의 벡터화된 차세대 쿼리 엔진인 포톤에서 엔비디아 가속 컴퓨팅에 대한 기본 지원을 개발할 계획이다. 이로써 고객의 데이터 웨어하우징 및 분석 워크로드의 속도와 효율성을 향상시키겠다는 목표다.

데이터브릭스 관계자는 “포톤은 업계 최고 수준의 가격 대비 성능과 총소유비용(TCO)을 자랑하는 데이터브릭스의 서버리스(serverless) 데이터 웨어하우스인 데이터브릭스 SQL을 구동하고 있다”면서 “데이터브릭스와 엔비디아는 이번 협업으로 가격 대비 성능의 수준을 한 단계 끌어 올릴 게획”이라고 강조했다.

한편 엔비디아는 이달 초 개최된 컴퓨텍스(COMPUTEX)에서 데이터브릭스의 오픈소스 모델인 DBRX가 엔비디아의 NIM 마이크로서비스로 제공된다고 발표했다. 엔비디아 NIM 추론 마이크로서비스는 애플리케이션에 생성형 AI 모델을 추가할 수 있는 간단하고 표준화된 방식을 제공한다. 이로써 모델을 완전히 최적화되고, 사전 구축됐으며, 어디서나 배포할 수 있는 컨테이너로 제공해 엔터프라이즈 개발자의 생산성을 획기적으로 높인다는 복안이다.

올해 3월 출시된 DBRX는 데이터브릭스 고객 및 파트너가 사용할 수 있는 모든 도구와 기술을 활용해 완벽하게 데이터브릭스를 기반으로 구축되었으며, 개발자를 위한 확장 가능한 엔드 투 엔드 AI 플랫폼인 엔비디아 DGX 클라우드로 학습됐다. 조직은 기업 데이터로 DBRX를 커스터마이징해 특정 조직을 위한 고품질 모델을 생성하거나, DBRX와 비슷한 맞춤형 전문가 혼합(MoE, mixture-of-expert) 모델을 처음부터 구축하기 위해 DBRX를 참조 아키텍처로서 사용할 수 있다는 게 회사 측 설명이다.

이어 데이터브릭스의 데이터 인텔리전스 플랫폼은 엔드 투 엔드 생성형 AI 애플리케이션의 개발, 평가, 배포, 보안 및 모니터링을 위한 가장 포괄적인 플랫폼을 제공한다. 고객은 데이터브릭스 모자이크 AI의 데이터 중심 접근 방식을 통해 유연한 개방형 플랫폼의 이점을 누리고, 또 안전하고 정확하며 관리 가능한 고유 데이터를 기반으로 생성형 AI 애플리케이션을 손쉽게 확장할 수 있다고 회사는 소개했다.

이와함께 데이터브릭스는 최근 라이언 블루(Ryan Blue), 다니엘 윅스(Daniel Weeks), 제이슨 리드(Jason Reid)가 설립한 데이터 관리 스타트업인 타뷸러(Tabular)의 전략적 인수를 발표했다.

대표적인 오픈소스 레이크하우스 형식인 아파치 아이스버그(Apache Iceberg)와 리눅스 파운데이션 델타 레이크(Linux Foundation Delta Lake) 창시자 간의 시너지를 발휘하고, 데이터 호환성을 선도해 조직이 더 이상 데이터의 형식에 제약을 받지 않도록 지원한다는 방침이다. 또한 최근 데이터브릭스는 고객이 효율적으로 데이터 사일로를 허물고 AI 혁신을 실현할 수 있도록 개방형 델타 쉐어링(Delta Sharing) 생태계를 강화하기 위해 새로운 제품 혁신과 전략적 파트너십을 발표한 바 있다.

한편 데이터브릭스는 데이터 및 AI 기능에 대한 수요 증가에 힘입어 올 1월 31일 마감된 회계연도를 기준으로 전 세계적으로 16억 달러(약 2조 2000억원)이상의 매출을 기록했으며, 연간 50% 이상의 성장을 달성했다.