[AI픽] 삼성SDS, 국내 첫 B300 GPU 서비스…AI 추론 성능 강화

H100 대비 메모리 용량 3.6배…"LLM 병목 현상 완화"
3분기에 서버리스 추론·AI 학습 서비스도 도입 예정

(서울=연합뉴스) 한상용 기자 = 삼성SDS가 엔비디아의 최신 그래픽처리장치(GPU)인 'B300'을 기반으로 한 클라우드 서비스를 국내 처음 선보이며 기업용 AI 인프라 시장 공략에 나섰다.

삼성SDS는 자사 클라우드 플랫폼 'SCP(삼성 클라우드 플랫폼)'를 통해 B300 기반 GPUaaS(GPU 구독형 서비스)를 출시했다고 23일 밝혔다.

이번 출시는 기업들이 AI 모델 개발 단계를 넘어 실제 서비스 적용을 위한 '추론' 단계로 빠르게 이동하면서 증가하는 고성능 컴퓨팅 수요에 대응하기 위한 전략이다.

B300 GPU는 12단 HBM3E(고대역폭메모리)를 탑재해 GPU당 288GB 메모리와 초당 8TB의 대역폭을 제공한다.

이는 기존 H100과 비교해 메모리 용량은 3.6배, 대역폭은 2.4배 향상된 수준이다.

이를 통해 거대언어모델(LLM) 구동 시 연산 속도에 비해 메모리 전송 속도가 느려 발생하는 '데이터 병목 현상'이 크게 개선됐다고 삼성SDS는 전했다.

삼성SDS는 2021년 A100, 2023년 H100 기반 GPUaaS를 선제적으로 도입한 데 이어 이번 B300 서비스까지 확대하며 GPU 중심 AI 인프라 생태계를 구축해 왔다.

기업 고객은 고용량 메모리를 기반으로 거대 AI 모델을 효율적으로 처리할 수 있으며 AI 에이전트와 이미지·영상·코드 생성 등 고성능 AI 서비스에서 지연 시간을 단축할 수 있다.

또한 구독형 방식으로 필요한 만큼만 사용하고 비용을 지불할 수 있다. GPU 수급이 어려운 상황에서도 최신 아키텍처를 신속하게 도입할 수 있는 점 역시 장점으로 꼽힌다.

이와 함께 삼성SDS는 보안 역량을 결합한 클라우드 환경을 통해 기업의 민감한 데이터를 안전하게 처리할 수 있다고 강조했다.

삼성SDS는 올해 3분기에 별도 인프라 비용 없이 사용한 만큼만 비용을 지불하는 '서버리스 추론 서비스'와 AI 모델을 자동으로 분산 학습시키는 'AI 학습 서비스'도 출시할 계획이다.

이호준 삼성SDS 클라우드서비스사업부장(부사장)은 "자원 최적화와 에너지 절감 등 GPU 효율화 역량을 바탕으로 대기업, 중견·중소, 공공 등 AI를 업무에 적용하려는 고객에게 국내 최초 B300 GPU 서비스를 제공해 AX 전환을 적극 지원하겠다"고 말했다.

한편 삼성SDS는 민관협력형(PPP) 클라우드 사업자로서 대구센터에 H100 기반 GPUaaS를 도입하고 범정부 초거대 AI 공통기반 구축 등 정부 사업을 수행 중이다.

gogo213@yna.co.kr

▶제보는 카톡 okjebo

IT/과학