비싼 GPU 쪼개 가격부담 ↓… KT클라우드 `AI서브` 선봬

GPU 슬라이싱으로 비용부담↓

KT클라우드가 슬라이싱 기술을 GPU에 적용한 AI 추론 전용 인프라 서비스 'AI SERV'를 출시했다. 모델들이 서비스를 소개하고 있다. KT클라우드 제공

KT클라우드가 슬라이싱 기술을 GPU(그래픽처리장치)에 적용한 AI(인공지능) 추론 전용 인프라 서비스 'AI서브(AI SERV)'를 선보였다.

초거대AI 학습 영역에선 단기간 집중적인 대용량·고사양 GPU 사용이 필요한 것과 달리, 추론 영역은 적은 양의 GPU를 끊김 없이 계속 사용해야 하는 특성이 있다. 그렇다 보니 학습에 쓰인 인프라를 그대로 추론 인프라로 활용할 경우 필요 이상의 비용 부담이 발생하게 된다.

KT클라우드가 출시한 'AI서브'는 AI 개발·학습을 마치고 AI서비스를 제공하고 있는 AI전문기업·스타트업 등이 고성능 GPU 인프라를 각 서비스에 필요한 만큼만 분할해 최적의 양을 사용하도록 지원하는 게 특징이다. 비용효율성뿐 아니라 성능과 호환성 등 추론 영역에서 중시되는 조건도 갖추고 있어 추론형 AI 인프라 시장에서 수요가 클 것으로 보인다.

KT클라우드 'AI서브'에 적용된 슬라이싱(Slicing) 기술은 기존에 한 장으로 제공되던 GPU 서비스를 5분할해 0.2장 단위로 제공한다. 최소 사용 가능한 GPU 단위가 작아진 만큼 필요한 때 필요한 만큼의 인프라를 사용할 수 있어 가격 부담이 줄어들고, 다양한 상황에 맞춰 탄력적이고 가변적인 활용이 가능하다.

기존 슬라이싱 기술은 분할된 단위의 GPU에서 성능 열화가 발생할 수 있다는 단점이 있었지만, 'AI서브'는 슬라이싱 분할에도 성능 열화 없이 인프라를 100% 활용할 수 있다는 게 KT클라우드의 설명이다. 회사에 따르면 엔비디아 A100 칩을 활용하는 경우 경쟁사 최신 추론형 인프라 서비스에 비해 최소 두 배 빠른 연산 속도를 갖췄다. 엔비디아 쿠다(CUDA) 아키텍처 기반의 높은 호환성과 확장성도 강점이다.

KT클라우드는 향후 'AI서브'에 사용자의 손쉬운 인프라 확장 지원을 위한 모니터링 및 컨테이너 이미지 클로닝 기능 등을 추가하는 한편, 부하 발생 시 인프라를 자동 확장시키는 오토스케일링'기능을 도입하는 등 서비스를 지속적으로 고도화해갈 계획이다.

윤동식 KT클라우드 대표는 "이번 AI서브 출시로 고객들이 AI 학습부터 추론, 서빙 환경 구성까지 각 단계에서 최적의 인프라를 보다 합리적인 비용으로 사용할 수 있게 됐다"며 "다양한 AI 전문기업·스타트업들이 부담 없이 AI인프라를 활용하도록 힘쓰는 한편, 국내외 파트너사와 협력해 초거대AI산업 활성화 및 생태계 확장을 위해 지속 노력할 것"이라고 말했다.

팽동현기자 dhp@dt.co.kr