[기고] 생성형 AI 열풍, 고성능 스토리지 시대를 열다

(지디넷코리아=강준범 효성인포메이션시스템 데이터사업팀 매니저)챗GPT로 촉발된 AI 비즈니스의 열기가 뜨거워지면서 생성형 AI 도입을 고려하는 기업이 늘고 있다. AI 발전으로 분석해야 할 데이터 양이 폭발적으로 증가하고, 다양한 종류의 데이터를 비용 효율적으로 저장하고 활용하는 데이터 운영의 혁신이 필요한 때다. AI/ML, 고성능 데이터 분석 등 최신 엔터프라이즈 워크로드를 위해서는 그에 걸맞는 고성능 스토리지가 필요하다.

효성인포메이션시스템 강준범 매니저

데이터 레이크는 데이터 유형에 상관없이 모든 데이터를 한 저장소에 모아놓는 것으로, 그동안 인프라 성능에 큰 부담을 미치는 요소는 아니었다. 그러나 최근 생성형 AI, 대규모 언어 모델(LLM)에 대한 관심이 높아지면서 AI 모델 학습을 위한 고성능 데이터 레이크 인프라가 부상하고 있다.

GPT는 데이터 수집, 전처리, 모델 생성, 평가, 아카이빙 등의 여러 단계를 거친다. 이 과정에서 전수 또는 대량의 데이터를 읽으며 상당한 디스크 입출력(IO)를 일으킨다. NVMe 플래시가 개별 속도는 빠르더라도 데이터를 찾아 GPU로 이동시키는 것이 느리다면 전반적인 시스템의 속도는 떨어질 수밖에 없다.

AI 시스템에 고속으로 정확하게 데이터를 공급하고 분석하려면 서버 외 스토리지나 네트워크도 고성능을 갖춰야 한다. 특히 스토리지는 고속 처리를 위해 하드디스크보다 NVMe 플래시가 효과적이고, 데이터를 고성능으로 분산 처리하기 위한 병렬 분산 파일 시스템이 권장된다.

AI를 위한 스토리지에서 고려할 가장 중요한 사항은 비용 효율적인 저장소의 아키텍처이다. 딥러닝은 하나의 데이터셋을 잘게 쪼개 사용하기 때문에 작은 IO 요청이 빈번하게 일어난다. 이 때문에 높은 IOPS(초당 입출력 횟수)가 요구되고 저장소 역시 메타정보 오버헤드를 최소화하는 구조여야 한다. 초고성능 분산 병렬파일 시스템과 대용량을 지원하는 오브젝트 스토리지와의 단일화된 아키텍처 구성이야 말로 차세대 고성능 데이터 레이크 저장소로 적합하다.

■ 생성형 AI 열풍으로 촉발된 고성능 시스템 수요

흔히 고성능 컴퓨팅(HPC) 환경에서는 GPU만 도입하면 된다고 생각하기 쉽다. 그러나 이를 잘 활용하기 위해서는 스토리지 환경도 중요하다. AI 모델을 학습할 때 방대한 양의 데이터 IO가 필요하고, 재학습하면서 무수한 데이터를 받아들이는 과정이 반복된다. 이 과정에서 스토리지의 성능이 뒷받침해 주지 않는다면, 전체적인 AI분석의 성능저하로 이어질 수 밖에 없다. 즉 스토리지 성능이 탄탄하게 받쳐 줘야 완벽한 HPC 환경을 구현할 수 있다.

초기에는 기업들이 GPU나 네트워크에 주로 투자했지만 이제는 모든 인프라의 원활한 흐름을 위해 고성능 스토리지를 도입하고 있다. 국내 AI 시장의 강자로 부상한 업스테이지는 GPU 분석 환경의 성능을 완벽하게 활용할 수 있는 효성인포메이션시스템의 HCSF를 데이터 저장소로 선정하고, 인피니밴드 네트워크 환경 구성을 통해 빠르고 효율적인 AI 교육 서비스를 제공하는 최상의 AI 분석 환경을 구현했다.

HPC를 위한 초고성능 데이터 레이크하우스 구축시 체크포인트

■ 로드맵 수립부터 원스톱 지원까지, 전천후 전문가

AI 비즈니스를 준비하는 기업들은 LLM 및 AI 모델을 한 가지 관점에서만 고민하는 경우가 많다. 하지만 이러한 모델들은 끊임없이 진화하고 있어 지속적으로 운영하기 위한 방안도 계획 단계부터 고려되어야 한다.

탄탄한 인프라를 위한 컴퓨팅 파워, 네트워크 속도, 스토리지 구성 등을 초기부터 종합적으로 살펴보고 기업 환경에 맞는 전략을 수립해야 향후 투자 비용을 최소화할 수 있다. 전문 기업의 컨설팅을 통해 환경에 걸맞은 로드맵을 수립한 후 최적의 인프라를 체계적으로 도입하는 것이 무엇보다 중요하다.

생성형 AI를 도입하려는 기업 대부분이 컴퓨팅과 네트워크뿐만 아니라 데이터 병목 현상을 줄이기 위해 고성능 스토리지 도입의 필요성을 인식하기 시작했다. 효성인포메이션시스템은 컴퓨팅부터 네트워크, 스토리지까지 HPC 구현에 필요한 모든 기술과 컨설팅을 종합적으로 제공한다. 수년간 다양한 산업 분야에서 쌓은 노하우와 전문화된 인력, 성공사례를 바탕으로 안정적인 원스톱 지원이 가능하다.

강준범 효성인포메이션시스템 데이터사업팀 매니저(his-jbkang@hyosung.com)