스노우플레이크, 스노우파크 컨테이너 서비스 출시

(지디넷코리아=김우용 기자)스노우플레이크는 26일(현지시간)부터 29일까지 미국 라스베이거스에서 열리는 연례 사용자 컨퍼런스인 ‘스노우플레이크 서밋 2023’에서 데이터 과학자, 데이터 엔지니어, 애플리케이션 개발자를 대상으로 프로그래밍 기능을 확장하는 ‘스노우파크 컨테이너 서비스’를 공개했다.

스노우파크 컨테이너 서비스는 사용자의 업무 요건에 맞게 커스터마이징 한 컨테이너 이미지를 생성하고 스노우플레이크에 배포해 사용할 수 있는 스노우파크 런타임 실행 환경이다. 개발자는 엔비디아 GPU 및 AI 소프트웨어 기반의 가속 컴퓨팅 등 다양한 인프라 옵션을 사용해 안전하게 관리되는 스노우플레이크 플랫폼에서 더 많은 워크로드를 간편하게 실행할 수 있게 된다. 다양한 AI 및 머신러닝(ML) 모델, API, 내부에서 개발한 애플리케이션 등이 모두 워크로드에 포함된다.

스노우플레이크 고객은 스노우파크 컨테이너 서비스를 통해 대규모 언어모델(LLM), 노트북, ML 모델 운영(MLOps) 도구 등 방대한 타사 소프트웨어와 앱 카탈로그도 이용할 수 있다. 스노우플레이크는 더 많은 조직에서 자체 데이터와 ML 모델을 현실에서 사용할 수 있도록 사용자 스스로 ML 모델을 개발, 운영 및 소비하는 방법을 단순화하고 확대하는 등 혁신을 이어가고 있다.

스노우파크 컨테이너 서비스

더 효율적인 모델 개발을 위한 새로운 스노우파크 ML API 세트, 확장 가능한 ML옵스를 위한 스노우파크 모델 레지스트리, 모델을 대화형 앱으로 바꿀 수 있는 스트림릿 및 고급 스트리밍 기능 등을 포함한다.

스노우파크는 다양한 런타임과 라이브러리를 사용해 비SQL 코드도 배포, 처리할 수 있는 스노우플레이크의 서비스다. 데이터 클라우드를 활용할 수 있는 인원과 구축 가능한 대상을 확장한다. 2021년 6월 출시된 스노우파크는 데이터 관련 종사자가 파이프라인을 마이그레이션해 빠르게 실행하거나 애플리케이션을 개발하는 데 스노우플레이크를 효율적인 플랫폼으로 활용할 수 있도록 지원해왔다.

스노우파크 컨테이너 서비스는 스노우플레이크 데이터 클라우드와 동일한 사용 편리성과 확장성, 통합 거버넌스를 제공하며 고객의 데이터에 적용할 수 있는 워크로드의 범위를 더욱 확장한다. 사용자는 다양한 프로그래밍 언어로 구축한 코드를 패키지화해 최적화된 엔비디아 가속화 AI 플랫폼을 비롯해 더 다양한 인프라 옵션에서 실행할 수 있는 유연성을 경험할 수 있다. 스노우파크 컨테이너 서비스는 스노우플레이크 기본 앱의 일부로도 사용할 수 있다. 개발자는 최종 고객의 스노우플레이크 계정에서 구현되는 앱을 배포할 수 있다. 레카 같은 타사의 생성형 모델 공급자를 자신의 스노우플레이크 계정에서 바로 실행하는 것도 가능하다. 독점 데이터를 노출하지 않아도 돼 보안성도 높아졌다.

스노우플레이크는 다양한 소프트웨어 및 애플리케이션 공급자와 파트너십을 체결함으로써 스노우파크 컨테이너 서비스를 사용해 자사의 엔드 유저가 스노우플레이크 계정 내에서 세계적인 수준의 제품을 실행할 수 있도록 한다. 예를 들어, 고객은 헥스의 노트북으로 분석과 데이터 사이언스를 실행할 수 있고, 알터릭스, 데이터이쿠, SAS 등의 인기 플랫폼 및 ML 기능을 활용해 더 고급 수준의 AI, ML 처리를 경험할 수 있다. 아파치 에어플로우로 구동되는 아스트로노머의 플랫폼으로 이러한 데이터 워크플로우 관리까지 모두 스노우플레이크 플랫폼에서 작업할 수 있다.

엔비디아 AI 엔터프라이즈가 스노우파크 컨테이너 서비스에 제공된다. 이 플랫폼에 100개 이상의 프레임워크, 사전 학습된 모델 및 개발 도구가 포함된다. 파이토치, 엔비디아 RAPIDS 및 엔비디아 트리톤 추론 서버 등을 포함한다.

스노우플레이크는 ML 모델 운영을 간소화하고 규모는 확장하기 위해 ML 모델을 위한 통합된 관리형 리포지토리인 새로운 스노우파크 모델 레지스트리를 발표했다. 이 레지스트리를 통해 사용자는 모델 게시와 발견을 중앙 집중화할 수 있고, 모델을 프로덕션에 원활하게 배포하기 위해 필요한 데이터 과학자, ML 엔지니어와의 협업은 간소화된다.

스노우플레이크는데이터와 비즈니스 활동의 격차를 좁히는 앱을 구축해 데이터 과학자와 파이썬개발자의 작업이 서로 상호작용할 수 있도록 지원한다. 스노우플레이크 스트림릿을 통해 개발자는 익숙한 파이썬 코드를 사용해 앱을 구축하고, 안전하고 빠르게 배포할 수 있다.

스노우플레이크는 통합 플랫폼 내에서 새로운 기능을 통해 개발을 더욱 쉽고 익숙하게 만들어 간다. 원활한 CI/CD 워크플로우를 지원하기 위한 기본 깃(Git) 통합과 스노우플레이크 내 최적화된 개발 및 테스트를 위한 기본 명령 라인 인터페이스(CLI) 등이 있다. 스노우플레이크는 스노우파이프 스트리밍 및 다이나믹 테이블을 통해 일괄 및 스트리밍 파이프라인 간 경계도 허물고 있다. 덕분에 여러 솔루션의 기능을 동시에 활용하거나 추가 데이터 파이프라인을 구축할 필요가 없어 데이터로 작업하는 시간과 비용을 효율적으로 관리할 수 있다.

스노우플레이크 크리스티안 클레이너만 제품 담당 부사장은 “스노우플레이크의 제품 혁신은 고객이 데이터 클라우드를 구축하는 방식을 개선함을 의미하며, 이를 통해 확장된 프로그래밍 기능과 방대한 활용 사례를 갖춘 데이터 및 애플리케이션 개발 종사자는 원하는 방식대로 구축, 테스트, 배포할 수 있게 된다”며 “스노우플레이크는 사용자가 데이터 활용 방식을 개선하고 유연한 환경에서 유의미한 결과를 도출할 수 있도록 스노우파크를 포함한 자체 머신러닝 및 스트리밍 기능에 지속적으로 투자하고 있다”고 밝혔다.

김우용 기자(yong2@zdnet.co.kr)