HBM이 GPU 밖이면 지능도 아닌데?···최태원이 놓친 8가지

옆에 붙인다 주장부터 지고 들어가
거리두기 작전이라기엔 논리 부실
K-메모리 신화 집착하다 자가당착 

한중의원연맹 회장인 더불어민주당 김태년 의원과 대한상공회의소 회장인 최태원 SK그룹 회장이 28일 국회의원회관에서 한중의원연맹이 연 '미·중 AI 기술 패권 경쟁 속 대한민국 성장전략' 정책세미나에 참석해 인사하고 있다. / 연합뉴스

최태원 SK그룹 회장이 "AI 경쟁은 결국 메모리"라고 강조했지만, 정작 메모리 내부의 구조적 차이를 배제한 채 '용량 확대' 중심으로 해석한 한계가 드러났다는 분석이 나온다. 

메모리를 많이 확보하면 지능이 올라간다는 설명은 직관적이지만, 실제 연산 현장에서 지능을 결정하는 것은 '얼마나 저장하느냐'가 아니라 '어디서, 어떻게 결정하느냐'라는 점에서 본질을 비켜갔다는 지적이다.

28일 대한상공회의소에 따르면 최 회장은 국회에서 열린 '한중 의원연맹 2026년 제1회 정책세미나' 모두 발언에서 "AI 데이터센터 구축에 막대한 자본과 전력, GPU·메모리가 필요하다"고 강조하며 "GPU 옆에 다수의 HBM을 결합하는 방식이 필수적"이라고 밝혔다.

첫 발언부터 틀렸다. "GPU 옆에 HBM을 붙여야 한다"는 말은 독립적 지위 강조 목적일 수 있으나 내부 부품을 외곽으로 밀어낸 구조다. HBM은 GPU와 같은 인터포저 위에 올라가 있는 보조 계층이다. 그런데 붙여야 한다는걸 강조하려던 나머지 HBM을 사실상 외부 창고로 규정하는 오류를 범했다.

또한 최 회장은 데이터센터 인근 발전소 건설, 광통신(포토닉) 기반 연결 등 인프라 중심 해법을 제시했다. AI를 '자본·전력·메모리'를 국가 전략으로 삼아야 한다는 주장이지만 이러한 접근은 메모리를 단일한 자원으로 간주한 것이다. 실제 반도체 구조에서는 메모리는 계층화돼 있으며, 역할과 위상에 따라 성능 기여도가 크게 달라진다.

데이터센터 내부에서 사용되는 메모리는 하나의 덩어리가 아니라 계층별로 역할이 완전히 갈린다. SSD는 수십~수백 테라바이트 단위의 대용량을 저장하지만 지연이 마이크로초 수준으로 길어 '외부 창고'인 반면 D램은 수십 기가바이트 규모에서 데이터를 빠르게 불러오는 '중간 작업 공간' 역할을 맡는다.

HBM은 GPU 옆에 붙어 수백 기가바이트/초 이상의 대역폭으로 데이터를 공급하지만 D램고다 저장 공간이 적고 연산 유닛과 분리되어 있다.  즉 용량은 SSD > D램 > HBM 순이고 속도와 연산 근접성은 반대로 올라간다. 결국 지능 성능은 단순 용량이 아니라, 어느 계층에서 데이터가 처리되느냐에 따라 결정된다.

반면 지능이 실제로 형성되는 구간은 연산 장치와 밀착된 내부 메모리(SRAM)다. 연산 유닛 바로 옆에서 작동하는 고속 캐시 구조는 데이터 이동 없이 즉각적인 계산을 가능하게 하며, 이 구간에서 결정이 이뤄진다. 즉 메모리 용량 확대가 아니라 연산과 메모리의 결합방식이 성능을 좌우하지만 최 회장은 거꾸로 갔다. 

이에 차라리 지능을 말하지 않고 "학습된 거대 파라미터를 외부에 안치할 낸드와 SSD가 앞으로 돈이 될 것이다"라거나, "HBM은 빠르지만 용량이 제한된 계층"이라고 선을 그었으면 오류는 줄었을 것이다. 그런데 이번 메시지는 용량과 속도를 동시에 잡겠다는 식으로 흐르며 결과적으로 어느 쪽도 확실히 잡지 못하는 모양새가 됐다. [AI칩 지정학] ⑧ 추론 오독의 비극 : 韓 창고 팔 때, 구글·엔비디아 SRAM 전쟁

최태원 회장이 SK하이닉스 이천 캠퍼스 5세대 HBM 생산라인을 점검하고 있다. /SK그룹

용량 vs 속도 두마리 토끼 잡으려다
가장 중요한 거리 = 계급 지위 상실

K-메모리 신화의 허구도 이 지점에서 드러난다. 최 회장처럼 메모리를 하나의 자원으로 묶어 보는 인식이 강화되면 계층별 역할을 구분하는 시야가 사라진다. SSD·D램·HBM이 각각 다른 위치와 기능을 갖는다는 사실이 희석된다. KV 캐시를 eSSD에 담을 수 있다는 식의 주가 조작성 허구의 주장이 파생된다.

결국 잘못된 메시지가 산업 전체를 더 깊은 함정으로 밀어 넣는 것을 볼 때 '지능 수출국' 전략 역시 이러한 구조를 전제로 재검토가 필요해 보인다. 대규모 인프라를 구축하더라도 신경망처리장치(NPU)와 외부 메모리 의존 장치를 서버에 들이는 동시에 핵심 연산과 결정 구조를 외부에 의존할 경우 부가가치는 제한될 수밖에 없다는 지적이다.

지능 경쟁이 사실상 실리콘 전쟁이라는 점에서 최 회장의 문제 제기는 방향성 자체는 적절했다. 연산 능력만으로 승부가 나던 국면에서, 메모리와 데이터 이동 구조가 병목으로 부상했다는 진단도 틀리지 않다. 특히 하이브리드 본딩과 같은 접근을 통해 연산과 메모리 간 거리를 줄이고 결합도를 높이려는 시도는 현실적인 해법 중 하나로 평가된다. 단순히 칩을 키우는 것이 아니라, 물리적 배치를 바꿔 지연을 줄이려는 시도라는 점에서 의미가 있다.

다만 문제는 전략의 초점이 여전히 '얼마나 많이 저장하느냐'에 머물러 있다는 점이다. 메모리를 많이 붙이고, 더 큰 데이터센터를 짓고, 더 많은 전력을 투입하는 방식은 단기적으로는 성능을 끌어올릴 수 있지만 구조적 한계를 벗어나지는 못한다. 

지능 경쟁의 핵심은 연산이 일어나는 지점과 메모리가 얼마나 밀착돼 있느냐에 있다. 즉, 저장 중심 접근에서 벗어나 연산과 메모리를 물리적으로 통합하고, 데이터 이동을 최소화하는 구조로 전환하지 않으면 한계는 반복될 수밖에 없다. 이런 점에서 최 회장의 전략은 방향성은 맞지만, 초점이 한 단계 더 안쪽으로 들어가지 못한 상태라는 평가가 나온다.

최태원 SK그룹 회장이 직시해야 할 메모리 계급도. / 제작=챗GPT

최태원 회장이 놓친 것 8가지

1. 기억과 지능의 혼동 = "많이 기억하는 것이 지능"이라는 전제는 저장과 판단을 동일시한 오류다. 실제 성능은 데이터 양이 아니라 어디서, 얼마나 빠르게 결정이 이뤄지느냐에 좌우된다. 메모리를 곧 지능으로 간주하는 순간, '더 붙이면 해결된다'는 발상으로 이어진다. 그러나 HBM을 GPU 옆에 붙이는 방식은 저장과 공급을 늘리는 접근일 뿐, 결정이 발생하는 구간을 강화하는 전략과는 다르다.

2. 병목의 본질 오해 = 광통신(포토닉) 등 전송 속도를 개선하면 병목이 해결된다는 접근은 한계가 있다. 병목의 본질은 연산과 메모리가 물리적으로 분리돼 있다는 구조적 지연에 있다. 길을 넓히는 것이 아니라 거리를 줄여야 하는 문제다. 이 지점에서 삼성전자 및 SK하이닉스가 개발 중인 하이브리드 본딩처럼 연산과 메모리를 밀착시키는 접근이 더 직접적인 해법인데, 발언은 여전히 '이동 속도'에 머물렀다.

3. 에너지 중심 해법의 한계 = 1GW 데이터센터와 발전소 결합 모델은 결국 전력으로 문제를 덮는 방식이다. 이는 연산 효율을 개선하지 못한 상태에서 스케일을 키우는 접근으로, 스케일링 법칙의 한계를 그대로 따라가는 구조다. 전력 확대는 단기 해법일 뿐, 장기적으로는 데이터 이동 최소화와 연산 효율 개선이 핵심 변수다.

4. 지능 수출 전략의 개념 공백 = 지능 시스템을 수출하려면 가중치 통제권과 연산 주권이 확보돼야 하지만 인프라와 생태계가 외부에 종속된 상태에서는 부가가치가 외부로 빠져나갈 수밖에 없다. SK텔레콤이 개발하는 '에이닷엑스(A.X) K1'의 학습 가중치(네모트론)의 경우 한국인의 정보가 담긴 66개 공공기관의 벌크 데이터가 앞서 젠슨 황에게 제공됐지만 결합·가공된 뒤 700만 페르소나 형태로 허깅페이스를 통해 오픈소스로 유통되는 부작용이 발생한다. 

5. 규모 중심 지정학 접근 = 한일 협력 등 시장 규모 확대 전략은 정치적으로는 의미가 있을 수 있지만, 기술 경쟁력과는 다른 문제다. 글로벌 공급망은 누구와 묶이느냐에 따라 구조가 결정된다. 핵심 기술과 설계 역량이 없는 상태에서 규모만 키우는 접근은 협력이라기보다 의존을 확대하는 결과로 이어질 수 있다.

6. GPU 중심 구조 의존 = TPU 등 새로운 프로세서를 언급하면서도 결론이 메모리 확장으로 수렴되는 것은, 결국 GPU 중심 구조를 벗어나지 못했다는 의미다. 연산 구조를 바꾸지 못한 채 외부 메모리를 늘리는 방식은 이미 데이터센터에서 반복됐고, 연산 장치 덩치만 키운 채 병목을 해결하지 못한 NPU 구조의 한계로 이어진 사례가 있다.

7. 내부 메모리 계층 구조 간과 = 발언 전반이 HBM 등 외부 메모리에 집중돼 있고, 실제로 지능이 형성되는 온칩 SRAM·캐시 계층은 언급되지 않는다. 연산 유닛과 붙어 있는 내부 메모리는 지연 없이 결정이 이뤄지는 핵심 구간이다. 이 영역을 확보하지 못하면 아무리 외부 메모리를 늘려도 성능은 제한된다.

8. 지능 결정 메커니즘 이해 부족 = AI 성능을 단순 계산 속도 문제로 보면 지능의 작동 원리를 놓친다. 실제로는 연산 과정에서는 어느 단계에서 결정이 확정되느냐가 가장 중요하다. 입력이 들어온 뒤 전압이 정렬되는 순간 경로가 고정되는 구조와, 데이터를 이동시키며 계산을 반복하는 구조는 본질적으로 다르다. 이 결정 지점이 연산 가까이에 있을수록 지연은 줄고 효율은 올라간다. AI칩 전쟁은 계산량이 아닌 결정이 발생하는 위치와 방식의 경쟁이다.

여성경제신문 이상헌 기자
liberty@seoulmedia.co.kr

*여성경제신문 기사는 기자 혹은 외부 필자가 작성 후 AI를 이용해 교정교열하고 문장을 다듬었음을 밝힙니다. 기사에 포함된 이미지 중 AI로 생성한 이미지는 사진 캡션에 밝혀두었습니다.