구글 논문 한 편에 삼전닉스 ‘털썩’…“메모리 덜 쓴다고?” ‘터보퀀트’의 도발 vs 매수 기회?

구글. EPA연합뉴스

구글의 인공지능(AI) 논문 한 편이 글로벌 반도체 시장을 강타했다. “메모리를 덜 써도 된다”는 해석으로 이어지면서 삼성전자와 SK하이닉스 주가가 크게 흔들렸다.

구글 ‘터보퀀트’ 발표…국내 반도체주 직격탄

지난 25일(현지시간) 구글 리서치는 AI 메모리 효율화 기술 ‘터보퀀트(TurboQuant)’ 논문을 공개했다.

시장은 즉각적으로 반응했다. 26일 한국거래소에서 삼성전자는 전일 대비 약 4% 이상 하락했고, SK하이닉스는 6%대 급락했다. 27일에도 삼성전자는 400원(-0.22%) 밀린 17만9700원을 기록했고, SK하이닉스는 1만1000원(-1.18%) 떨어진 92만2000원으로 장을 마쳤다.

이와 관련 채민숙 한국투자증권 연구원은 “메모리 용량(Capacity)과 메모리 대역폭(Bandwidth)의 역할을 혼동한 데서 발생한 해석 오류”라고 이날 보고서를 통해 밝혔다.

AI(인공지능) 추론의 병목은 메모리 용량 부족이 아니라 메모리 접근속도와 데이터 이동효율에 의해 결정되기 때문이다.

그러면서 “터보 퀀트는 이러한 병목을 일부 완화해 GPU 효율을 높임으로써 동일한 GPU 자원으로 더 많은 토큰을 처리할 수 있게 해주는 기술로 이해해야 한다”고도 했다. 터보 퀀트가 KV 캐시(KV Cache, 중간 연산값 임시 저장)를 최대 6배 압축한다는 것은 필요 메모리 용량 자체를 줄인다는 의미라기보다 KV 캐시가 차지하는 데이터 크기와 이에 따른 메모리 접근 부담을 크게 낮춘다는 의미에 가깝다는 설명이다.

이름도 어렵다...터보퀀트, 너 누구야?

구글이 압축 알고리즘 터보퀀트를 공개했다. 구글 블로그

터보퀀트의 핵심은 단순히 메모리를 줄이는 기술이 아니다. 한마디로 ‘데이터 압축 기술’이다.

AI 성능을 제한하는 병목현상의 주범은 ‘메모리 용량’이 아니라 ‘메모리 대역폭과 접근 속도’다. AI는 대화나 문맥을 기억하기 위한 ‘KV 캐시(Key-Value Cache)’라는 공간에 데이터를 저장한다. 문제는 이 데이터가 쌓일수록 메모리 사용량이 폭발적으로 증가한다는 점이다.

이를 쉽게 설명하면 데이터는 자동차, 메모리 대역폭은 터널로 볼 수 있다. 기존에는 자동차(데이터)가 많아질수록 터널(대역폭)을 계속 넓혀야 했고, 이 때문에 HBM 수요가 폭발적으로 증가했다.

그러나 실제 문제는 터널의 크기보다 ‘차가 얼마나 빠르게 지나가느냐(메모리를 읽어오는 속도)’에 있었다. GPU는 연산 속도가 매우 빠르지만, 메모리에서 데이터를 불러오는 속도가 이를 따라가지 못하면 연산 유닛이 대기 상태에 들어간다. 업계 연구에 따르면 AI 연산 과정의 상당 부분이 이 ‘대기 시간’으로 소모되며 데이터 처리가 밀리게 되는 ‘병목 현상’이 발생하는 것이다.

터보퀀트는 이 병목을 다른 방식으로 해결한다. AI가 사용하는 ‘KV 캐시’ 데이터를 6배까지 압축해 저장한다. 메모리 용량 자체를 줄이기 보다, 메모리에서 읽어와야 할 데이터 양 자체를 줄인다는 것이다.

데이터 구조를 단순화하고 정보 손실을 최소화하는 방식으로 이를 압축해 GPU가 데이터를 기다리는 시간이 줄어들어, 동일한 GPU 자원으로 더 많은 연산을 처리할 수 있게 된다.

외신 vs 증권가…“위기냐, 기회냐”

연합뉴스

외신은 이번 기술의 파급력을 빠르게 짚었다.

미국 IT 매체 벤처비트는“소프트웨어 최적화만으로 데이터센터 비용 구조를 바꿀 수 있는 기술”이라고 평가했고, IT 매체 테크크런치 역시 “KV 캐시를 최대 6배 줄여 AI 운영 비용을 낮출 수 있다”고 분석했다. 다만 “아직 초기 단계 기술”이라는 점도 함께 지적했다.

투자 업계도 기술적 의미는 크지만, 적용 범위와 검증 수준에는 한계가 존재한다고 분석했다.

채민숙 한국투자증권 연구원은 “효율 개선 기술이 등장했다고 해서 메모리 수요가 감소한다고 보긴 어렵다”며 “GPU의 실제 가동률이 되고, 단위 시간당 처리 가능한 토큰 수(throughput)가 증가하는 효과가 나타나 토큰 당 비용이 낮아진다”고 해석했다.

그러면서 “실험 대상 역시 파라미터 규모 80억 수준의 비교적 작은 모델 위주로 진행돼, 실제 산업에서 사용되는 수백억 파라미터 급 대형 모델에서 동일한 효과가 재현될지 여부는 아직 검증되지 않았다”고 했다.

글로벌 투자은행 모건스탠리 역시 “이 기술은 메모리 총수요를 줄이는 것이 아니라 AI 시장 자체를 키우는 촉매제가 될 것”이라며 “오히려 매수 기회로 볼 수 있다”고 평가했다.

김여진 AX콘텐츠랩 기자 aftershock@sedaily.com