AI 투자에 휘청…빅테크 ‘메모리 다이어트’로 원가 방어

구글·엔비디아·MS, D램 절감 총력
올해 빅테크 설비투자 37% 메모리
알파벳 34조 회사채 발행 현금 확보
데이터 압축·HBM 분산 기술 잰걸음

SK하이닉스 DDR5가 탑재된 D램 모듈. 사진제공=SK하이닉스

글로벌 빅테크가 인공지능(AI) 데이터 연산에 쓰이는 메모리 사용량 감축에 나섰다. 거대언어모델(LLM) 고도화로 하드웨어 구매 비용이 급증하자 소프트웨어와 시스템 최적화를 통해 원가 절감에 돌입했다는 분석이다.

19일 업계에 따르면 구글과 엔비디아, 마이크로소프트(MS) 등 주요 빅테크는 최근 데이터를 압축하거나 메모리 점유율을 분산하는 신기술을 잇달아 도입하고 있다.

구글 리서치가 공개한 터보퀀트 알고리즘이 대표적이다. AI 추론 과정에서 발생하는 데이터인 키 밸류(KV) 캐시를 3~4비트 수준으로 압축해 D램의 연산 부담을 줄이는 기술이다. AI 모델의 재학습 없이도 메모리 사용량을 기존 대비 최고 6분의 1 수준까지 절감할 수 있다.

삼성전자(005930)와 SK하이닉스(000660)의 주요 고객사인 엔비디아는 별도의 저장 계층을 신설해 메모리 부담을 낮췄다. 데이터처리장치(DPU) 기반의 공유 컨텍스트 메모리 스토리지(CMX) 플랫폼을 적용해 고대역폭메모리(HBM)에 집중되던 연산 데이터를 분산 배치하는 식이다. HBM 과부하를 방지하고 전력 효율을 높이기 위한 조치다.

MS도 추론 과정에서 상대적으로 중요도가 낮은 데이터를 선별해 압축하는 인덱스멤(IndexMem) 기술을 적용 중이다. 학계에서는 KV 캐시를 HBM과 일반 D램, 솔리드스테이트드라이브(SSD) 등 여러 계층에 분산한 뒤 문맥 중요도에 따라 압축·제거하는 에빅프레스(EVICPRESS) 시스템을 주요 대안으로 제시했다.

빅테크가 메모리 사용량 감소에 나선 건 비용 부담이 커지면서다. iM증권은 올해 글로벌 상위 15개 빅테크의 전체 설비투자(CAPEX) 예산 중 메모리 반도체 구매 비중은 37%로 추산했다. 지난해(15%) 대비 2.5배 이상 늘어난 수치다. AI 서버 증설 과정에서 메모리 구매 비용이 전체 지출을 끌어올리고 있다는 분석이다.

메모리 비용 증가는 빅테크 현금흐름에도 악영향을 미치고 있다. 구글 모회사 알파벳은 AI 인프라 투자 여파로 올 2분기 사상 처음으로 잉여현금흐름(FCF)이 적자를 기록했다. 이를 타개하기 위해 이달 초 약 250억 달러(약 34조 원) 규모의 회사채를 발행해 자금 조달에 나섰다. 엔비디아 역시 인프라 구축 비용 충당을 위해 지난 6월 5년 만에 채권 시장에서 최소 200억 달러(약 27조 원) 규모의 회사채를 발행했다.

업계 관계자는 “빅테크들이 영업 활동으로 벌어들인 현금만으로는 AI 인프라 투자액을 감당하기 어려워진 상황”이라며 “한정된 반도체 자원의 효율을 높이는 메모리 최적화 기술이 향후 기업 수익성을 좌우할 핵심 변수가 될 것”이라고 설명했다.

서종갑 기자 gap@sedaily.com