모두 안 된다고 할 때…‘괴물 메모리’ 만드는 데 몰두한 이 회사 [위클리반도체]

[오찬종 기자의 위클리반도체-75번째 이야기]

괴물 메모리 ‘HBM’의 세계

영화 찰리의 초콜릿 공장 속 엘리베이터 모습. 사진=파라마운트

출근 시간 기약 없는 엘리베이터를 기다리며 ‘우리 아파트도 엘리베이터가 좀 많았으면 좋았을 텐데...’ 불만을 토로해보신 경험이 있으실 겁니다. 만약 우리 동에 엘리베이터가 더 많아진다면? 아니, 각 집마다 엘리베이터가 생긴다면? 더 넘어 영화 ’찰리의 초콜릿 공장‘처럼 각 방마다 모두 엘리베이터가 연결되어 있다면 생활은 얼마나 더 빨라질까요?

이러한 상상을 실현한 괴물 메모리 반도체가 세상을 뒤흔들고 있습니다. 오늘의 주인공 고대역폭메모리(HBM)의 세계입니다.

HBM의 실적이 곧 삼성·SK하닉의 주가인 공식이 만들어지다

AI반도체를 얘기할 때 HBM은 빼놓지 않고 등장하는 이름이지만 ‘깜짝 스타’에 가깝습니다. 작년 까지만 해도 전체 D램 매출의 1%도 차지하지 못했지만, 올해 들어 폭발적인 성장세를 만들고 있습니다. 골드만삭스는 HBM이 내년엔 SK하이닉스 D램 매출의 15%, 삼성전자의 10%를 차지할 것으로 전망했습니다. 대만 시장조사업체 트렌드포스는 올해 글로벌 HBM 수요가 전년 대비 60% 이상 증가하고 내년에는 30~40% 가량 늘어날 것으로 예상했습니다. HBM의 주도권이 곧 메모리 반도체의 주도권이 될 수 있다는 말도 과언이 아닌 셈이 됐죠.

HBM이 갑자기 뜬 이유는 바로 챗GPT와 같은 생성형 AI 수요의 폭발 때문입니다. 생성형 AI는 기존에 작동하던 컴퓨터의 연산 방식과 큰 차이가 있습니다. 하나씩 어려운 연산을 풀어내는 방식이 아니라 동시 다발적으로 제시되는 수많은 단순한 연산을 동시에 해내야 하죠. 이를 잘 수행할 수 있는 연산장치가 CPU(중앙처리장치)보다 GPU(그래픽처리장치)입니다. GPU는 동시에 모니터에 수백만 개 픽셀을 끄고 켜는 것과 같은 단순 병렬 형 연산에 최적이죠.

GDDR과 HBM 구조도 자료=AMD

GPU는 방대한 양의 데이터를 동시에 처리하기 때문에 순간적으로 많은 데이터를 지원해 줄 수 있는 메모리가 요구됩니다. 하지만 컴퓨팅 구조상 GPU(그림 속 보라색)와 D램 사이의 물리적 거리가 멀어 한계가 있었죠. 이를 보완해주기 위해 업계는 GPU의 마치 비서처럼 바로 옆에 착 붙이는 그래픽장치용 D램(GDDR·왼쪽 그림 주황색)을 별도로 배치해서 사용해 왔습니다.

기존 게이밍 그래픽을 구현하는 용도로는 GDDR로도 충분했지만 처리해야 할 데이터가 엄청나게 늘어나면서 이 역시도 한계에 부딪혔습니다. 이때 주목을 받은 게 HBM입니다.

HBM(오른쪽 그림 주황색)은 D램을 아파트처럼 수직으로 쌓아 올린 것입니다. 그리고 칩 내부에 미세한 구멍을 뚫고 위아래의 칩을 마치 데이터 전달을 위한 ‘엘리베이터’처럼 서로 연결합니다. 이를 어려운 말로 TSV(Through Silicon Via) 공정이라고 부릅니다. 이 엘리베이터 형태의 통로를 업계에서는 핀수(I/O)라고 부릅니다. 핀의 수가 많을수록 정보 전달 과정에서 병목 현상이 줄어들죠.

GDDR은 개당 핀 수가 32개 수준입니다. 위 그림처럼 통상 GPU 근처에 12개 GDDR을 배치하는데 이를 계산해보면 총 384개 정도의 핀 수가 됩니다. 반면 HBM은 개당 무려 1024개의 핀 수를 보유하고 있습니다. 12층 D램 아파트 안에 1024개 엘리베이터를 만든 셈이죠. 통상 4개 HBM을 GPU 근처에 배치하는데 이를 계산하면 4096개의 핀 수가 됩니다. GDDR보다 10배 이상 많은 수죠.

반도체로 탑 쌓고 1024개 엘리베이터를 뚫어버린 ‘미친 상상’ 현실이 되다

이 같은 장점에도 불구하고 HBM은 그동안 큰 주목을 받지 못해 왔습니다. 일반 GDDR에 비해 3배 이상 비싼 가격이 부담스러웠기 때문에 큰 수요가 없었기 때문이죠. 이 때문에 수년 전 일부 기업은 HBM 개발팀을 해산하면서 시장성이 높지 않다고 판단하기도 했습니다.

SK하이닉스 HBM3E

하지만 SK하이닉스의 생각은 좀 달랐습니다. HBM 시장에 꾸준한 투자를 진행하면서 가장 최신 버전인 4세대 HBM3까지 안정적인 수율을 만드는 데 성공했죠. 그 결과 생성형AI 시대 수요가 폭발한 올해 절대적 공급자인 엔비디아에 초기 독점 납품을 성공하면서 기회를 잡는데 성공합니다.

메모리 반도체 1위 사업자인 삼성전자도 HBM 시장에 힘을 주기 시작했습니다. 삼성전자는 최근 미국 실리콘밸리 맥에너리 컨벤션센터에서 열린 ‘메모리 테크데이’ 행사에서 5세대 HBM3E 제품 ‘샤인볼트’를 최초로 공개했습니다. 이는 전작 대비 1.5배 커진 용량과 10% 개선된 전력 효율을 자랑하는 제품입니다. 초당 최대 1.20 TB(테라바이트) 이상의 데이터를 처리할 수 있는데, 이는 1초에 30 GB(기가바이트) 용량의 UHD(초고해상도) 영화 40편을 처리할 수 있는 속도죠. 이 외에 메모리 3위 기업인 미국의 마이크론도 HBM 시장에 뛰어들었지만 선두 두 기업과의 격차는 따라잡기 어려운 수준으로 평가됩니다.

3년 내 후속모델…AI 2배 더 강력해진다

시장이 주목하는 것은 HBM을 놓고 격돌하는 SK하이닉스와 삼성전자의 패권 다툼입니다. 선두로 치고 올라간 하이닉스와의 격차를 줄이는 것은 고객사 확보에 달렸다는 것이 업계 지배적 관측입니다.

HBM 수요가 정점에 다다를 6세대 HBM5의 개발을 누가 먼저 성공할 지도 관심입니다. 업계에선 3년 내 상용화 될 HBM5 핀 수가 전작 대비 최대 2배 많은 2048개가 될 것으로 전망하고 있습니다. 이론적으로 자율주행, AI비서 등의 성능도 2배 이상 급격히 향상될 수 있는 토대가 갖춰진다는 의미입니다. 반도체 칩을 쌓고 엄청난 수의 구멍을 뚫어 연결해버리겠다는 용감하고 무모했던 상상이 AI시대를 영화가 아니라 현실로 만드는 핵심 열쇠가 된 셈입니다.

삼성전자, SK하이닉스 등 국내 대표 기업들부터 TSMC와 인텔까지! 글로벌 산업의 핵심인 반도체 기업들에 관한 투자 정보를 매주 연재합니다. 아래 ‘기자 이름’ 옆 구독 버튼을 누르시면 소식을 놓치지 않고 받아보실 수 있습니다:)