“GPU만 늘리는 게 답 아냐… AI 데이터 길부터 뚫어야”

로버트 알바레즈 에버퓨어 수석 솔루션 아키텍트
AI 데이터 병목 해결 위한 효율적 인프라 강조

로버트 알바레즈 에버퓨어 수석 솔루션 아키텍트가 디지털타임스와 인터뷰하고 있다. 에버퓨어 제공

“인공지능(AI) 스토리지를 비롯해 데이터 인프라를 잘 갖춘다면, 동일한 그래픽처리장치(GPU) 수량으로도 훨씬 많은 사용자와 세션을 처리할 수 있습니다.”

로버트 알바레즈(Robert Alvarez) 에버퓨어(옛 퓨어스토리지) AI혁신팀 수석 솔루션 아키텍트(이하 수석)는 최근 방한해 디지털타임스와의 인터뷰에서 “GPU 개수를 늘린다고 해서 데이터 병목이 반드시 해결되지는 않는다”며 “페라리를 사도 러시아워에 몰면 소용없는 것과 마찬가지”라고 비유했다.

응용수학 박사인 알바레즈 수석은 미 항공우주국(NASA) 프런티어 개발 연구소에서 AI 프로젝트를 수행했으며, 현재는 에버퓨어에서 AI 추론 최적화 등을 맡고 있다. 그는 AI인프라 경쟁의 초점이 GPU 확보에서 ‘데이터를 얼마나 효율적으로 흘려보내느냐’로 넓어지고 있다고 강조했다.

그가 제시한 AI 데이터 전략은 3단계다. 먼저 기업 곳곳의 데이터 위치와 맥락을 파악하고, 이를 AI가 쓸 수 있는 형태로 가공한 뒤, 마지막으로 추론 속도를 끌어올리는 것이다. 에버퓨어는 지난 5월 인수를 완료한 원터치(1touch) 기술을 토대로 내놓은 ‘데이터 인텔리전스’로 1단계를, 엔비디아와 공동 개발한 ‘데이터 스트림’으로 2단계를 해결할 수 있도록 지원한다.

핵심은 3단계다. 대형언어모델(LLM)은 답변을 만들기 전에 입력 문맥을 읽어 내부 상태를 계산하는 ‘프리필’ 과정을 거친다. 같은 문서나 공통 문맥을 반복해 처리하면 GPU가 이미 했던 계산을 되풀이하게 된다. 이를 해결해주는 게 알바레즈 수석이 공동 개발한 키-값 가속기(Key Value Accelerator·KVA)다. 계산 결과를 플래시 스토리지에 저장해뒀다가 다시 불러오는 KV캐싱으로 중복 연산을 줄여준다.

알바레즈 수석은 “KVA라는 한 가지 레이어만 추가함으로써 GPU를 추가 구매하지 않고도 보다 효율적으로 더 많은 사용자에게 서비스할 수 있게 된다”며 “에이전트가 같은 문서를 반복해 읽는 모든 상황에 적용할 수 있다”고 설명했다.

그러면서 금융·통신 업계에서 정보를 클라우드로 보내지 않고 엣지에서 캐싱해 추론을 크게 앞당긴 사례가 있다고 소개했다. 에버퓨어에 따르면 자체 벤치마크에서 토큰 처리 효율이 30%가량 늘어났고 추론 속도가 최대 20배 빨라졌다. 최근에는 프롬프트 전체가 같지 않아도 겹치는 부분의 캐시를 재활용하는 ‘세분화 프롬프트 캐싱’까지 지원한다.

로버트 알바레즈 에버퓨어 수석 솔루션 아키텍트가 디지털타임스와 인터뷰를 진행하고 있다. 에버퓨어 제공

알바레즈 수석은 반도체 전자설계자동화(EDA)도 같은 문제에 직면했다는 점을 짚었다. AI 도입으로 여러 설계·검증 작업을 동시에 돌리는 병렬 처리가 늘면서 GPU뿐 아니라 데이터를 공급하는 스토리지 성능도 중요해졌다는 견해다. 그는 “인프라가 잘 갖춰지지 않으면 속도가 느려지고 원하는 만큼의 사이클을 돌릴 수 없다”고 지적했다.

AI 스토리지의 역할은 실제 AI 벤치마크에서도 커지고 있다. ML커먼스는 이달 공개한 ML퍼프 스토리지 v3.0에 처음으로 LLM 추론용 KV캐시 테스트를 추가했다. 알바레즈 수석은 에버퓨어 ‘플래시블레이드//엑사’가 체크포인팅·KV캐시 지표에서 모두 1위를 기록했다고 강조했다. GPU가 계산할 때뿐 아니라 계산 결과를 저장하고 다시 불러오는 과정까지 AI 성능 경쟁의 대상이 된 셈이다.

최근 에버퓨어는 AI인프라 수요로 성장 중인 네오클라우드 기업들 대상으로도 활발하게 사업을 전개하고 있다. 알바레즈 수석은 “에버퓨어는 데이터 디스커버리부터 거버넌스, 사일로 제거, 데이터를 AI 레디 형태로 만드는 것, 추론 시간을 단축하는 것까지 추가 구매 없이 동일한 인프라에서 모두 해결할 수 있도록 해준다는 점을 한국 고객에 더 널리 알리고자 한다”고 밝혔다.

팽동현 기자 dhp@dt.co.kr