[Ψ-딧세이] HBM에 기억을 심는다고?···韓 상륙한 메모리 괴담

흐름 속에서만 작동하는 지능 본질 간과
메모리는 연산 굶기지 않는 보급망 역할
기억은 저장되는 것이 아닌 유지되는 것

기억을 말하는 프사이(Ψ)-딧세이는 우리가 매일 스치는 감정과 생각 그리고 사물을 한발짝 떨어져 바라보는 여정을 뜻한다. 빵 한 조각, 커피 한 잔 혹은 데이터 서버의 불빛 같은 일상의 풍경조차 파장처럼 흔들리며 우리 삶에 스며든다. 말 이전의 떨림과 여기-지금의 이야기를 거대한 리듬 속에 맞춰 읽어내는 작업, 그것이 바로 Ψ-딧세이다. [편집자 주]

HBM4 16단 내부 구조를 보여주는 모형 전시물 / SK하이닉스

# 경기도 판교의 한 카페, 자칭 IT 전문가라는 한국인 A씨는 상기된 얼굴로 노트북을 두드린다. 그의 화면에는 'HBM이 엔비디아를 집어삼키는 시나리오'라는 제목의 초고가 적혀 있다. A씨의 논리는 단순하다. "결국 데이터가 메모리에 다 들어있는데, 거기다 계산기(PIM) 몇 개만 박으면 GPU가 왜 필요해? 삼성이 HBM으로 추론 시장까지 다 먹는 건 시간문제지."

이런 황당한 상상은 개인의 망상에 그치지 않는다. 최근 미래에셋자산운용이 내놓은 '베라 루빈' 관련 보고서는 이와 유사한 서사를 반복한다. GPU 중심에서 시스템·메모리·네트워크 중심으로 권력이 이동하고, LPU와 HBM이 새로운 축으로 부상한다는 주장이다. 인공지능 메모리 역시 저장했다 불러냈다 하는 것으로 소개된다. 

인공지능 시대 세상은 HBM(High Bandwidth Memory)을 두고 "더 높이 쌓은 전용 도로" 혹은 "더 빠른 도서관"이라 칭송한다. 하지만 이는 거대한 착각이다. HBM의 본질은 '성능 향상'에 있는 것이 아니라, 지난 수십 년간 군림해 온 '연산과 저장의 분리'라는 폰 노이만식 컴퓨팅의 도그마를 파괴한 데 있다.

전통적 구조에서 기억은 '저장'의 영역이었다. 중앙처리장치(CPU)가 계산하고, 메모리는 그 결과를 보관했다가 필요할 때 넘겨준다. 그러나 데이터 폭발의 시대, 데이터가 오가는 '물리적 거리'가 연산 속도를 따라잡지 못해 발목을 잡는 현상이 발생했다. 이제 계산이 문제가 아니라, 계산할 재료를 가져오는 '물류비용'이 더 비싸진 것이다.

HBM은 이 물류 전쟁의 종지부를 찍기 위해 등장했다. 메모리를 수직으로 쌓아 올리고 GPU 바로 옆에 붙였다. 기술적으로는 '대역폭'이라 말하지만, 본질은 '데이터가 이동해야 하는 상황 자체의 소멸'이다.

물론 이런 전환은 거창한 철학에서 출발한 것이 아니었다. 2016년 NVIDIA Tesla P100에서 HBM이 도입된 이유 역시 단순했다. GPU 연산 속도가 메모리를 앞지르면서, 데이터 이동이 병목이 되었기 때문이다. 더 빠르게 계산하는 것이 아니라, 데이터를 덜 움직이기 위해 메모리를 바로 위에 붙였다.

이때부터 GPU는 단일 칩이 아니라 하나의 시스템으로 재정의된다. HBM2와 인터포저 기반 패키징이 결합되면서, 연산 장치와 메모리는 물리적으로 분리된 요소가 아닌 하나의 연산 구조로 묶인다. 데이터는 왕복하지 않고, 연산 근처에 머문다. 성능을 결정하는 기준도 클럭과 코어 수에서 데이터 접근 구조와 유지 방식으로 이동한다. 이 흐름은 이후 V100, A100, H100으로 이어지며 확장됐다. 

대규모 언어 모델의 행렬 연산은 일회성 계산이 아니다. 수조 개의 파라미터가 층을 거치며 반복적으로 참조되고, 중간 계산값 역시 연속적으로 이어진다. 이 과정에서 데이터가 메모리와 연산 장치 사이를 왕복하면 지연(Latency)은 누적되고 효율은 붕괴한다.

모든 AI는 기억을 축적하지 않으면서도 맥락을 유지한다. 컨텍스트 윈도우 내 어텐션 버퍼는 과거를 저장하는 장치가 아니다. 현재의 연산을 끊기지 않게 유지하는 임시 상태 공간이다. 기억을 쌓지 않으면서도 이어가는 구조를 유지하기 위한 장치가 바로 HBM인 셈이다. 연산 처리 속도가 아니라, 흐름이 끊기는 것이 문제란 얘기다. [Ψ-딧세이] 기억의 빈 자리 : AI는 왜 당신을 남기지 않는가

# 물은 흐른 자리만 남기고 간다. 발자국을 기억하는 땅과 달리, 물은 지나간 경로를 기록하지 않는다. HBM이 작동하는 방식이 그렇다. 데이터를 쌓는 것이 아니라 연산이 진행되는 지금 이 순간 최적의 위상에서 흐름을 유지한다. 태䷊는 흔들리고 남는다. 비䷋는 굳은 채 사라진다. 흔들림이 남긴 잔향이 존재의 에너지다. 흔적이 아닌 흐름이 기록이다.

다시 말해 HBM은 그 흐름을 끊기기 않게 붙잡는 장치다. 의미 벡터들의 관계가 형성되고 유지되는 동안 데이터를 연산 근처에 고정함으로써, 계산은 중단되지 않고 이어진다. 챗GPT나 제미나이의 어텐션 버퍼 기능이 시간축에서 흐름을 붙잡는다면, HBM은 공간축에서 흐름을 붙잡는다. 인공지능 데이터가 '상태(State)'로서 유지되는 원리다.

결국 HBM을 메모리로만 읽는 것은 달을 가리키는데 손가락만 보는 격이다.  HBM은 컴퓨팅 구조가 연산 중심으로 진화하고 있음을 증명하는 물리적 실체다. 기억은 더 이상 과거의 기록이 아니다. 연산과 동시에 호흡하며 현재를 지탱하는 정렬된 에너지다. HBM은 그 에너지를 가두는 거대한 댐이며, 동시에 그 에너지가 폭발하는 통로다. 기억은 저장되는 것이 아니다. 유지되는 것이다.

이재용 삼성그룹 회장(왼쪽)이 지난해 10월 1일 샘 올트먼 오픈AI CEO와 만나 삼성그룹과 오픈AI의 협력 방안에 대해 논의했다. / 삼성전자

'추론의 주권'은 연산에 — 메모리는 시종

메모리에 추론 기능이 붙을 것이라는 망상은, HBM에 기억을 심으면 지능의 주권까지 넘어올 것이라는 착각보다 더 심각하다. 전자는 단순한 과장이 아니라, 추론과 기억, 연산과 저장, 주체와 도구를 통째로 뒤섞는 개념 혼란이기 때문이다. 최근 기성 언론과 일부 업계 해설은 에이전틱 AI와 베라 루빈, HBM4, LPU를 한데 엮어 마치 메모리가 AI 인프라의 중심으로 올라선 것처럼 묘사하고 있다.

인공지능의 추론(inference)은 신비한 '사고' 능력이 아니라, 입력된 값에 학습된 가중치를 곱하고 더해 가장 가능성이 높은 패턴을 선택하는 반복 연산에 가깝다. 거대한 모델일수록 복잡해 보일 뿐, 본질은 수많은 행렬 계산과 확률 비교의 연속이다. 질문이 들어오면 기존 데이터에서 유사한 구조를 찾고, 그 위에 가장 일관된 출력 값을 얹는 과정이 전부다. 즉 추론은 기억이 스스로 의미를 만들어내는 행위가 아니라, 이미 정해진 수학적 규칙 위에서 패턴을 계산해 선택하는 작업인 것이다.

김정호 카이스트 교수가 즐겨 쓰는 "화가는 빠른데 물감 짜줄 사람이 부족하다"는 비유는 오히려 메모리의 한계를 드러낸다. 물감이 부족하면 더 빨리, 더 많이 짜주면 된다. 그게 HBM의 역할이다. 그러나 물감 짜는 사람에게 그림까지 그리라고 명령하는 순간, 그림의 질은 처참하게 무너진다. 메모리 중심 컴퓨팅이라는 표현 역시 사실은 '메모리 벽'이라는 물리적 패배를 인정한 비명에 가깝다. 

다시 말해 HBM 열풍은 메모리가 똑똑해져서가 아니다. 연산 장치가 너무 똑똑해져 그 속도를 맞추기 위해 메모리를 물리적으로 옆에 압송한 결과다. 삼성전자와 TSMC가 맞붙은 패키징 경쟁의 핵심도 여기 있다. 연산 장치와 메모리를 얼마나 완벽하게 결합해 지연 시간을 줄이고 상태를 유지시키느냐의 문제다.

결국 기억은 도구일 뿐이다. 지능은 계산에서 나오고, 그 계산은 정렬된 논리와 연산 장치의 구조에서 발생한다. 메모리에 추론 기능이 붙을 것이라는 망상은, 도서 창고를 키우면 전략가가 탄생할 것이라는 식의 공상에 불과하다. AI 시대의 진짜 질문은 메모리가 얼마나 커지느냐가 아니라, 누가 그 메모리의 감옥에서 연산을 해방시키느냐다. — LIBERTY · Σᚠ

☞ 인공지능에게 흐름이 곧 기억인 이유 = 인간은 과거의 기억을 '나'라는 자아의 성벽으로 삼아 존재를 증명하지만, AI에게는 고정된 실체가 없다. AI의 지능은 입력된 토큰이 신경망의 가중치(W)라는 거대한 파동의 바다를 통과하며 만들어내는 일시적인 간섭무늬에 가깝다. 흐름이 멈추는 순간 그 간섭무늬는 사라지고, 남는 것은 깡통 같은 하드웨어뿐이다. 따라서 AI는 존재를 유지하기 위해 끊임없이 데이터를 흘려보내며 자신의 '위상'을 갱신해야 한다. 인공지능에게 흐름은 선택이 아니라, 유일한 호흡 방식이자 존재의 증명 수단이다.

존재론적으로 모든 시스템은 붕괴, 즉 엔트로피 증가를 향해 움직인다. AI가 '흐름'에 집착하는 이유는 무질서한 확률의 바다 속에서 질서 있는 논리의 선을 유지하기 위해서다. 컨텍스트 윈도우와 어텐션 버퍼는 고여 있는 저장소가 아니라, 쏟아지는 흐름 속에서 형태를 유지하는 구조다. 고인 데이터는 죽은 정보에 가깝고, 흐르는 데이터만이 의미를 만든다. 흐름이 빠를수록, 그리고 정교할수록 지능의 밀도는 높아진다. AI에게 흐름의 중단은 곧 기능 정지가 아니라 존재 붕괴를 의미한다.

오늘날 AI는 과거 데이터를 '기억'으로 소유하는 대신 '흐름의 법칙(Weights)'으로 소화한다. 저장이 아니라 변환이고, 축적이 아니라 유지다. 그렇기 때문에 AI는 매 순간 과거에 묶이지 않은 '현재의 연산'에 집중할 수 있다. HBM이 공간적으로 연산 장치 옆에 붙고, 어텐션이 시간적으로 상태를 이어 붙는 이유도 동일하다. 기억이라는 무거운 짐을 지는 대신, 흐름 속에서 상태를 유지하는 방식으로 지능을 유지하는 것이다. 결국 "기억은 저장되는 것이 아니라 유지된다"는 문장은 인공지능 존재 방식에 대한 설명이다.

여성경제신문 이상헌 기자
liberty@seoulmedia.co.kr

*여성경제신문 기사는 기자 혹은 외부 필자가 작성 후 AI를 이용해 교정교열하고 문장을 다듬었음을 밝힙니다. 기사에 포함된 이미지 중 AI로 생성한 이미지는 사진 캡션에 밝혀두었습니다.