래블업, SC23에서 초거대 AI 서비스 소개

래블업

래블업은 10일 미국 콜로라도 컨벤션 센터(덴버)에서 개최하는 ‘SC23’에 참가한다고 13일 밝혔다. SC23은 고성능 컴퓨팅, 네트워킹, 스토리지 분석을 위한 행사로, AMD, ARM, AWS, IBM, 인텔(Intel), 엔비디아(NVIDIA), SK하이닉스 등 국내외 정상 기업들이 다수 참여한다.

래블업은 이번 SC23에서 자사의 초거대 AI 생태계 구축을 위한 플랫폼인 Backend.AI를 소개할 예정이다. Backend.AI는 엔비디아 CUDA, AMD ROCm 등의 GPU 지원뿐만 아니라, 다양한 NPU 및 AI 반도체들을 최적화 기능들과 함께 제공하고 있다.

구글 TPU를 비롯하여 그래프코어, 리벨리온 Atom 및 퓨리오사 워보이를 최적화 기능과 함께 지원하고 있다. 이를 통해 GPU로 AI 모델을 훈련하고, AI반도체로 서비스를 연계하는 GPU-NPU 통합 파이프라인을 이용하여 최고의 성능과 최저 비용을 동시에 달성하고 있다.

또한 Backend.AI는 GPU Direct Storage 기술을 세계 최초로 컨테이너 클러스터에서 구현하여, GPU와 네트워크 스토리지를 직결함으로써 엄청난 데이터 입출력 속도를 제공한다. 이로써 고속 스토리지 시장의 Top 3인 PureStorage, NetApp, Dell EMC와 파트너십을 맺었다.

더불어 Backend.AI는 아태지역에서 엔비디아 DGX-Ready 프로그램에 최초이자 유일하게 선정되었으며, VMWare, RedHat, Canonical 등과 함께 엔비디아 AI Accelerated Program의 파트너로 선정된 바 있다.

이번 SC23에서는 Backend.AI가 이와 같은 기술을 활용하여 직접 개발 운영할 수 있는 LLM 서비스를 데모한다. IFA 2023에서 선보인 Meta에서 공개한 Llama2 모델을 포함한 다양한 거대 공개 언어 모델들을 다양한 응용 분야에 맞게 미세 조정하여, Backend.AI의 자동화 시스템인 FastTrack을 통해 온프레미스 환경에서 LLM 서비스를 개발하고 서비스할 수 있음을 알릴 예정이다. 신정규 래블업 대표는 ”초고성능 AI에 더하여 다양한 슈퍼컴퓨터 솔루션들 및 고성능 컴퓨팅에 최적화된 Backend.AI를 전 세계 슈퍼 컴퓨팅 연구자들에게 소개할 수 있어 기쁘다“며 “앞으로도 막대한 양의 연산 자원이 들어가는 기술 선도 분야에서 Backend.AI를 통해 성능 및 비용의 혁신과 압도적인 편리함을 동시에 달성할 수 있도록 노력하겠다”고 밝혔다.