구글 클라우드, 허깅페이스와 파트너십...“생성형 AI·ML 개발 가속화할 것”

구글 클라우드는 인공지능(AI) 스타트업 허깅페이스(Hugging Face)와 손잡고 개발자가 허깅페이스의 모든 서비스에서 구글 클라우드 인프라를 활용하고, 구글 클라우드에서 허깅페이스 모델을 학습 및 제공할 수 있도록 지원한다고 26일 밝혔다.

이번 파트너십을 통해 허깅페이스는 AI 대중화 비전을 가속화하고 구글 클라우드는 오픈소스 AI 생태계 발전을 위한 지원을 강화한다는 전략이다.

구글 클라우드는 허깅페이스의 전략적 클라우드 파트너이자 학습 및 추론 워크로드를 위한 우선 대상자로 선정됐다. 개발자는 컴퓨팅, 텐서 처리 장치(TPU), 그래픽 처리 장치(GPU) 등 AI에 최적화된 구글 클라우드 인프라를 간편하게 이용해 오픈 모델을 학습 및 제공하고 새로운 생성형 AI 애플리케이션을 구축할 수 있다.

이 과정에서 구글 클라우드와 허깅페이스는 개발자가 구글 클라우드에서 대규모 AI 모델을 더 빠르고 비용 효율적으로 학습 및 제공할 수 있도록 긴밀히 협력할 예정이다.

구체적으로 개발자는 허깅페이스 플랫폼에서 간단한 클릭만으로 버텍스 AI(Vertex AI)를 사용해 허깅페이스 모델을 학습, 튜닝 및 제공할 수 있다. 이를 통해 구글 클라우드의 특화된 엔드 투 엔드(end-to-end) MLOps 서비스를 쉽게 활용해 생성형 AI 애플리케이션을 구축할 수 있다고 구글클라우드 측은 설명했다.

또한 구글 쿠버네티스 엔진(GKE) 배포 지원으로 개발자는 허깅페이스에서 자체 설정한 인프라를 이용해 워크로드를 학습, 튜닝 및 제공하고, GKE에서 허깅페이스 전용 딥 러닝 컨테이너(Deep Learning Containers)를 이용해 모델을 확장할 수 있다고 소개했다.

향후 버텍스 AI와 GKE는 2024년 상반기 중 허깅페이스 플랫폼에 배포 옵션으로 제공될 예정이다.

생성형 인공지능(AI)으로 AI 개발자의 모습을 표현한 그림. DALL-E

한편 양사의 파트너십으로 더 많은 오픈소스 개발자가 클라우드 TPU(Cloud TPU) v5e를 사용할 수 있게 된다.

클라우드 TPU v5e는 이전 버전에 비해 달러당 최대 2.5배 더 높은 성능을 제공하고 추론 지연 시간은 최대 1.7배 단축한다고 구글클라우드 측은 강조했다. 회사는 또 엔비디아의 H100 텐서 코어 GPU를 탑재해 이전 세대에 비해 3배 빠른 학습과 10배 증가한 네트워크 대역폭을 제공하는 A3 VM에 대한 지원 또한 향후 확대할 계획이다.

이외에 인퍼런스(Inference), 엔드포인트(Endpoints), 스페이스(Space), 오토트레인(AutoTrain) 등 허깅페이스 관리형 플랫폼에 대한 간단한 관리 및 과금 기능이 구글 클라우드 마켓플레이스를 통해 제공될 예정이다.

토마스 쿠리안(Thomas Kurian) 구글 클라우드 CEO는 “구글 클라우드와 허깅페이스는 개발자가 생성형 AI를 보다 손쉽게 활용하고 영향력을 발휘할 수 있도록 지원하는 비전을 공유하고 있다”면서 “이번 파트너십으로 개발자는 허깅페이스에서 구글 클라우드의 AI 플랫폼인 버텍스 AI와 보안 인프라를 활용해 차세대 AI 서비스와 애플리케이션 구축을 가속화할 수 있을 것”이라고 전했다.

클레망 드랑주(Clement Delangue) 허깅페이스 CEO는 “구글은 초기 트랜스포머 논문부터 T5 및 비전 트랜스포머(Vision Transformer, ViT) 모델에 이르기까지, AI 발전과 오픈 사이언스 운동을 이끌어 왔다”며 “이번 파트너십을 통해 허깅페이스 사용자와 구글 클라우드 고객이 최신 오픈 모델과 함께 버텍스 AI, TPU 등 AI에 최적화된 구글 클라우드의 대표 인프라와 도구를 더욱 쉽게 활용함으로써, 개발자가 자체 AI 모델을 구축하는 역량을 한층 더 발전시킬 수 있도록 지원하겠다”라고 말했다.