[PRNewswire] 웨카, 컨텍스추얼AI와 협력하여 구글 클라우드에서 생산 준비가 완료

된 엔터프라이즈 AI 솔루션들을 구동

-- 문맥 언어 모델 (CLM)은 웨카 데이터 플랫폼을 활용하여 더 안전하고 정확하며 효율적인 엔터프라이즈 AI 사용을 구동한다

캠벨, 캘리포니아 2024년 8월 8일 /PRNewswire=연합뉴스/ -- AI 네이티브 데이터 플랫폼 기업인 웨카아이오(WekaIO (WEKA[https://www.weka.io/ ]))는 오늘 AI 구축 회사인 컨텍스추얼 AI(Contextual AI)와 협력하여 문맥 언어 모델(CLM)을 뒷받침하는 데이터 인프라를 제공한다고 발표했다. 컨텍스추얼 AI의 CLM은 컨텍스추얼 AI가 개발한 독점적인 차세대 검색 증강 생성(RAG) 방식인 RAG 2.0[https://contextual.ai/introducing-rag2/ ]을 사용하여 학습되며, 현재 웨카® 데이터 플랫폼에서 구동된다. CLM은 컨텍스추얼 AI 플랫폼에서 포춘 500 대 기업을 위해 안전하고 정확하며 신뢰할 수 있는 AI 애플리케이션을 구동한다.

차세대 엔터프라이즈 AI 모델 개발

2023년에 설립된 컨텍스추얼 AI는 최첨단 RAG 2.0 기술을 기반으로 엔터프라이즈 AI 애플리케이션을 구축할 수 있는 턴키 플랫폼을 제공한다. 임베딩을 위한 고정 모델, 검색을 위한 벡터 데이터베이스, 블랙박스 생성 모델을 하나로 묶는 기존 RAG 파이프라인과 달리, RAG 2.0은 단일 엔드투엔드 통합 시스템을 제공하여 정확도를 높이고 컴플라이언스를 개선하며 잘못된 정보를 줄이고 답변을 소스 문서에 다시 귀속시키는 기능을 제공한다.

생성형 AI 워크로드는 상당한 성능, 데이터 관리 및 컴퓨팅 파워 요구사항이 있어 학습 및 서비스에 시간과 리소스가 많이 필요할 수 있다. 컨텍스추얼 AI는 방대하고 다양한 데이터 세트를 활용하여 CLM을 학습한다. 동사는 학습 과정 초기에는 성능 병목 현상과 확장 문제로 인해 GPU 활용도가 떨어지고 AI 모델 개발 시간이 지연되는 문제에 직면했다.

GPU 활용도를 극대화하기 위한 데이터 관리 시스템 설계

GPU 활용도를 높이는 것은 AI 시스템과 워크로드가 최고의 효율성으로 실행되도록 하는 데 중요하다. 웨카 데이터 플랫폼의 첨단 AI 네이티브 아키텍처는 AI 파이프라인의 모든 단계를 가속하도록 특별히 설계되어, GPU를 데이터로 포화시켜 더 효과적으로 실행되도록 원활한 데이터 파이프라인을 생성함으로써 AI 워크로드가 더 빠르고 지속 가능하게 실행되도록 한다. 클라우드와 하드웨어에 독립적인 웨카의 소프트웨어 솔루션은 어디에나 배포되도록 설계되었으며, 제로 카피, 제로 튜닝 아키텍처는 단일 데이터 플랫폼에서 모델 학습 중 수백만 개의 소규모 파일에 대한 메타데이터 작업을 처리하고 모델 체크포인트 작업 중 방대한 쓰기 성능을 처리하는 등 모든 AI 워크로드 프로파일을 역동적으로 지원한다.

컨텍스추얼 AI는 구글 클라우드에 웨카 데이터 플랫폼을 배포하여 AI 모델 학습을 위한 모든 데이터 세트(총 100TB)를 관리하는 고성능 데이터 인프라 계층을 생성했다. 웨카 플랫폼은 개발자 생산성을 높이고 모델 학습 시간을 단축하는 데 직접적으로 관련된 데이터 성능에서 비약적인 발전을 이루었다.

웨카 플랫폼은 스토리지에서 가속기로 데이터가 빠르게 이동하는 것 외에도 컨텍스추얼 AI에 원활한 메타데이터 처리, 체크포인팅 및 데이터 사전 처리 기능을 제공하여 학습 프로세스에서 성능 병목 현상을 제거하고 GPU 활용도를 개선하며 클라우드 비용을 낮추는 데 도움이 되었다.

컨텍스추얼 AI의 CTO 겸 공동설립자 아만프리트 싱(Amanpreet Singh)은 "클라우드에서 대규모 AI 모델을 학습하려면 높은 GPU 활용도를 제공하고 모델 개발에 필요한 시간을 단축할 수 있는 최신 데이터 관리 솔루션이 필요하다"면서 "이제 우리는 웨카 데이터 플랫폼을 통해 차세대 GPU를 구동하고 최첨단 생성형 AI 솔루션을 대규모로 구축하는 데 필요한 강력한 데이터 파이프라인을 갖추게 되었다. 빠르고 일시적인 스토리지를 지속적이고 저렴한 데이터로 전환하는 것이 마법처럼 작동한다"고 말했다.

WEKA 데이터 플랫폼으로 달성한 주요 성과

- 3배의 성능 향상: GPU 활용도가 크게 증가하여 주요 AI 사용 사례에서 성능이 3배 증가.

- 4배 빨라진 AI 모델 체크포인팅: 모델 체크포인트 완료 지연을 제거하여 체크포인팅 프로세스를 4배 개선하고 개발자 생산성을 획기적으로 개선.

- 38% 비용 절감: 관련 클라우드 스토리지 비용이 테라바이트 당 38% 절감.

웨카 사장 조나단 마틴 (Jonathan Martin)은 "생성형 AI는 기업에 통찰력을 제공하고 새로운 가치를 창출할 수 있는 거의 무한한 잠재력을 가지고 있지만, 많은 기업들은 여전히 AI 프로젝트를 어디서부터 시작하고 어떻게 진행해야 할지에 대해 어려움을 겪고 있다"면서 "컨텍스추얼 AI는 조직이 AI의 잠재력을 훨씬 더 빠르게 활용할 수 있도록 지원하는 첨단의 생성형 AI 솔루션을 개발하여 엔터프라이즈 AI의 미래를 혁신하고 있다. 웨카는 컨텍스추얼 AI가 중요한 데이터 관리 문제를 극복하여 AI 혁명을 앞당길 만한 신뢰할 수 있는 AI 모델의 학습을 가속하도록 돕게 된 것을 자랑스럽게 생각한다"고 말했다.

컨텍스추얼 AI가 웨카와 협력하여 동사의 엔터프라이즈 AI 솔루션을 어떻게 구동하는 지에 관한 상세한 정보가 필요할 경우 https://www.weka.io/customers/contextual-ai/를 방문하기 바란다.

컨텍스추얼 AI

컨텍스추얼 AI의 사명은 AI를 통해 세계가 작동하는 방식을 바꾸는 것이다. 포춘500 대 기업이 신뢰하는 동사는 복잡한 작업을 자동화하여 지식 근로자들이 고부가가치 활동에 집중할 수 있도록 한다. 원래의 산업 표준 RAG 기술을 개척한 공동설립자 겸 CEO 도우 키엘라(Douwe Kiela)는 공동설립자 겸 CTO 아만프리트 싱과 함께 우리의 최고 전문가 팀을 이끌고 있다. 이 팀은 최첨단 RAG 2.0 기술과 은행, 반도체, 미디어 등을 포함한 여러 사용 사례와 분야에 걸쳐 기업 용 엔드 투 엔드 머신 러닝으로 맞춤 생성형 AI 애플리케이션을 발전시키고 있다. 마운틴뷰에 본사가 있고 뉴욕과 런던에 사무소를 운영 중인 컨텍추얼 AI는 30명 이상의 직원을 고용하고 있다. 상세 정보가 필요할 경우 https://contextual.ai를 방문하기 바란다.

웨카

웨카는 AI 시대를 위해 구축된 기업 데이터 스택에 대한 새로운 방식을 설계하고 있다. 웨카® 데이터 플랫폼은 클라우드와 어디에나 설치할 수 있는 AI 기반 아키텍처가 갖춰진 AI 인프라의 표준을 설정함으로써 온- 프레미스, 클라우드와 엣지 환경에서 데이터를 원활하게 이동할 수 있게 한다. 이 플랫폼은 종래의 데이터 사일로를 GPU, AI 모델 트레이닝과 추론 그리고 기타 성능 집약적인 워크로드를 가속하는 동적 데이터 파이프라인으로 변환하여 보다 효율적으로 작업하고 에너지를 덜 소비하며 관련 탄소 배출량을 줄일 수 있도록 지원한다. 웨카는 전세계에서 가장 혁신적인 기업과 연구 조직들이 복잡한 데이터 문제를 해결하여 더 빠르고 지속 가능하게 발견, 통찰과 결과에 도달할 수 있도록 해주는데 여기에는 포춘 50대 기업 중 12개가 포함되어 있다. 상세 정보가 필요할 경우 www.weka.io를 방문하거나 링크트인[https://www.linkedin.com/company/weka-io/ ], X[https://twitter.com/WekaIO ]와 페이스북[https://www.facebook.com/WEKADataPlatform ]에서 웨카와 연결하기 바란다.

웨카가 가트너 매직 쿼드런트 (Gartner® Magic Quadrant™)의 분산 파일 시스템과 오브젝트 스토리지 분야 비저너리로 3년 연속 등재된 이유를 알고 싶을 경우 여기에서 동 보고서를 구해보기 바란다[https://www.weka.io/lp/gartner-magic-quadrant-2023-visionary/ ].

WEKA와 WEKA 로고는 웨카아이오의 등록상표이다. 여기에서 사용된 기타 트레이드 명칭들은 그들 각 소유자들의 상표일 수도 있다.

로고 - https://mma.prnewswire.com/media/1796062/WEKA_v1_Logo.jpg

WEKA

출처: WekaIO

WEKA Teams With Contextual AI to Power Production-Ready Enterprise AI Solutions in Google Cloud

-- Contextual Language Model (CLM) Leverages the WEKA Data Platform to Power More Secure, Accurate, and Efficient Use of Enterprise AI

CAMPBELL, Calif. Aug. 8, 2024 /PRNewswire/ -- WekaIO (WEKA[https://www.weka.io/ ]), the AI-native data platform company, today announced it is working with Contextual AI, the company building AI to change how the world works, to provide the data infrastructure underpinning its Contextual Language Models (CLMs). Contextual AI's CLMs are trained using RAG 2.0[https://contextual.ai/introducing-rag2/ ], a proprietary next-generation retrieval-augmented generation (RAG) approach developed by Contextual AI, now powered by the WEKA® Data Platform. CLMs power safe, accurate, and trustworthy AI applications for Fortune 500 enterprises on Contextual AI's platform.

Developing the Next Generation of Enterprise AI Models

Founded in 2023, Contextual AI delivers a turnkey platform for building enterprise AI applications powered by its state-of-the-art RAG 2.0 technology. Unlike traditional RAG pipelines, which stitch together a frozen model for embeddings, a vector database for retrieval, and a black box generation model, RAG 2.0 provides a single end-to-end integrated system, enabling higher accuracy, better compliance, less hallucination, and the ability to attribute answers back to source documents.

Generative AI workloads have significant performance, data management, and computational power requirements that can make them time- and resource-intensive to train and serve. Contextual AI leverages large, diverse datasets to train its CLMs. While training, the company initially encountered performance bottlenecks and scale challenges that caused poor GPU utilization and delayed its AI model development times.

Architecting a Data Management System to Maximize GPU Utilization

Increasing GPU utilization is critical to ensure AI systems and workloads run at peak efficiency. The WEKA Data Platform's advanced AI-native architecture is purpose-built to accelerate every step of the AI pipeline, creating frictionless data pipelines that saturate GPUs with data to ensure they run more effectively so AI workloads run faster and more sustainably. Cloud and hardware-agnostic, WEKA's software solution is designed to be deployed anywhere, and its zero-copy, zero-tune architecture dynamically supports every AI workload profile-handling metadata operations across millions of small files during model training and massive write performance during model checkpoint operations-in a single data platform.

Contextual AI deployed the WEKA Data Platform on Google Cloud to create a high-performance data infrastructure layer that manages all its datasets-100TBs in total-for AI model training. The WEKA platform delivered a significant leap in data performance that directly correlated to increasing developer productivity and accelerating model training times.

In addition to fast data movement from storage to accelerator, the WEKA platform provided Contextual AI with seamless metadata handling, checkpointing, and data preprocessing capabilities that have eliminated performance bottlenecks in its training processes, improved GPU utilization and helped lower its cloud costs.

"Training large-scale AI models in the cloud requires a modern data management solution that can deliver high GPU utilization and accelerate the wall clock time for model development," said Amanpreet Singh, CTO & co-founder of Contextual AI. "With the WEKA Data Platform, we now have the robust data pipelines needed to power next-gen GPUs and build state-of-the-art generative AI solutions at scale. It works like magic to turn fast, ephemeral storage into persistent, affordable data."

Key Outcomes Achieved With the WEKA Data Platform:

- 3x Performance Improvements: Achieved a threefold increase in performance for key AI use cases thanks to a significant increase in GPU utilization.

- 4x Faster AI Model Checkpointing: Eliminated delays in model checkpoint completion to achieve a 4x improvement in checkpointing processes, dramatically improving developer productivity.

- 38% Cost Reduction: Associated cloud storage costs were reduced by 38 percent per terabyte.

"Generative AI holds virtually unlimited potential to unlock insights and new value creation for enterprises, but many are still challenged with where to begin and how to move their AI projects forward," said Jonathan Martin, president at WEKA. "Contextual AI is innovating the future of enterprise AI by creating advanced generative AI solutions that help organizations tap AI's potential much, much faster. WEKA is proud to be helping Contextual AI overcome critical data management challenges to accelerate training of reliable, trustworthy AI models that will advance the AI revolution."

To learn more about how Contextual AI works with WEKA to power its enterprise AI solutions, visit: https://www.weka.io/customers/contextual-ai/.

About Contextual AI

Contextual AI's mission is to change the way the world works through AI. Trusted by Fortune 500 companies, the Company automates complex tasks, allowing knowledge workers to focus on high-value activities. Co-founder and CEO Douwe Kiela, who pioneered the original industry-standard RAG technique, leads our team of top experts alongside Co-founder and CTO Amanpreet Singh. The team is advancing customizable generative AI applications with state of the art RAG 2.0 technology and end-to-end machine learning for enterprises across multiple use cases and sectors, including banking, semiconductors, media, and more. Headquartered in Mountain View, with offices in New York and London, Contextual AI employs over 30 people. Learn more at https://contextual.ai.

About WEKA

WEKA is architecting a new approach to the enterprise data stack built for the AI era. The WEKA® Data Platform sets the standard for AI infrastructure with a cloud and AI-native architecture that can be deployed anywhere, providing seamless data portability across on-premises, cloud, and edge environments. It transforms legacy data silos into dynamic data pipelines that accelerate GPUs, AI model training and inference, and other performance-intensive workloads, enabling them to work more efficiently, consume less energy, and reduce associated carbon emissions. WEKA helps the world's most innovative enterprises and research organizations overcome complex data challenges to reach discoveries, insights, and outcomes faster and more sustainably - including 12 of the Fortune 50. Visit www.weka.io to learn more, or connect with WEKA on LinkedIn[https://www.linkedin.com/company/weka-io/ ], X[https://twitter.com/WekaIO ], and Facebook[https://www.facebook.com/WEKADataPlatform ].

See why WEKA has been recognized as a Visionary for three consecutive years in the Gartner® Magic Quadrant™ for Distributed File Systems and Object Storage - get the report[https://www.weka.io/lp/gartner-magic-quadrant-2023-visionary/ ].

WEKA and the WEKA logo are registered trademarks of WekaIO, Inc. Other trade names used herein may be trademarks of their respective owners.

Logo - https://mma.prnewswire.com/media/1796062/WEKA_v1_Logo.jpg

WEKA

Source: WekaIO

[편집자 주] 이 보도자료는 자료 제공사에서 제공한 것으로, 연합뉴스는 내용에 대해 어떠한 편집도 하지 않았으며, 연합뉴스의 편집방향과는 무관함을 밝혀 드립니다.

(끝)

출처 : PRNewswire 보도자료