미래엔 지휘자가 된다... 한국이 HBM을 절대 사수해야 하는 이유

[WEEKLY BIZ] [김정호의 반도체 특강] 곧 5세대 HBM 양산, 6세대는 2026년 양산 예상

WEEKLY BIZ 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/146096

그래픽=김의균

‘인공지능(AI)의 심장’이라는 고대역폭 메모리(HBM)를 둘러싼 경쟁이 불붙고 있다. 최근 법원에선 SK하이닉스에서 HBM 설계를 담당하다 금지 규정을 어긴 채 미국 경쟁 업체인 마이크론으로 이직한 전직 연구원을 상대로 낸 전직 금지 가처분을 인용했다. 기술을 뺏으려는 자와 지키려는 자, 반도체 업계에선 지금 HBM을 두고 생존을 건 한판 승부가 벌어진다. 도대체 HBM이 뭐길래, 이를 둘러싸고 격전이 펼쳐질까.

HBM(High Bandwidth Memory)은 영어 단어 뜻 그대로 넓은 대역폭(帶域幅)을 지닌 메모리를 말한다. ‘대역폭’은 순간적으로 보낼 수 있는 데이터 양이 얼마나 되는지를 뜻한다. 고속도로의 차선이 넓을수록 더 많은 차들이 빨리 지나갈 수 있는 것처럼 대역폭이 넓을수록 데이터 전송 속도나 처리량이 늘어나는 이치다. 인공지능 수퍼컴퓨터 등이 AI를 구현하려면 방대한 양의 데이터를 더하고, 빼고, 나누고, 곱하면서 학습을 한 뒤 스스로 추론하고, 이를 재빨리 처리해야 한다. 이 과정에서 HBM은 데이터를 가장 빠르게 처리하는 데 필수품으로 자리하게 됐다.

최근 AI 모델과 서비스 개발에 기업 간 또는 국가 간 경쟁이 치열한데, 이 경쟁의 승패는 ‘컴퓨팅 능력(Computing Power)’에 달렸다. 많은 정보를 얼마나 빠르게 계산하고 처리해낼 수 있느냐에 달렸다는 얘기다. 그런데 이 컴퓨팅 능력은 ‘GPU(그래픽 처리 장치)’와 ‘HBM’ 그리고 이들을 어떻게 묶고 쌓는지를 뜻하는 ‘패키징’에 의해 결정된다. 그중에서도 HBM이 더욱 중요해지고 있다. 생성형 AI 계산 과정에선 GPU보다 HBM이 더 바쁘게 돌아가기 때문이다.

GPU는 쉽게 말해 수만 개의 작은 계산기(Computing Core)가 ‘동시 계산’(병렬 처리)을 하는 것이다. 그러면 계산 시간이 확 준다. 그런데 이런 폭발적인 양의 데이터를 빠르게 처리하려면 넓은 고속도로에 정보를 확확 지나다니게 해야 하는데, 그 역할을 HBM이 한다. GPU가 아무리 좋아도 HBM이 없으면 제 성능을 발휘하지 못한다는 얘기다. ‘앙꼬 빠진 찐빵’으로 비유하자면, 찐빵의 ‘앙꼬’가 바로 HBM이다.

이처럼 생성형 AI 시대의 핵심으로 통하는 HBM의 역사는 10여 년 전으로 거슬러 올라간다. 당시 그래픽카드용 GPU를 설계하던 엔비디아와 AMD의 제안으로 SK하이닉스는 이들과 HBM을 공동 개발하기 시작했다. 2013년 SK하이닉스는 세계 처음으로 HBM을 개발했고, 이 HBM이 2020년쯤 생성형 AI 시대가 도래하자 그 꽃을 피운 것이다.

SK하이닉스는 HBM의 성능과 용량을 계속 향상시켜 올해 상반기 중 8단 또는 12단의 HBM3E를 양산할 계획이다. HBM은 ‘아파트’ 같은 구조라서 ‘단층집’인 D램을 여러 겹 켜켜이 쌓아 놓은 형태<그림>다. 층과 층 사이는 ‘엘리베이터’처럼 서로를 연결하는 TSV(실리콘 관통전극)까지 뚫어 저장 용량을 늘린다. HBM은 성능 개선에 따라 1세대(HBM)에서 2세대(HBM2), 3세대(HBM2E)를 거쳐 4세대(HBM3), 5세대(HBM3E)로 진화했다. HBM3 다음에 붙는 알파벳 ‘E’는 HBM3에서 일부 성능을 개선해 확장(Extended)한 버전이란 의미다. 업계에서는 2026년 6세대인 HBM4 양산 시대가 열릴 것으로 예상한다. 메모리 업계 3강(SK하이닉스·삼성전자·마이크론)의 ‘반도체 삼국지’ 경쟁도 격화하고 있다. SK하이닉스와 삼성전자가 양분해 온 HBM 시장에 미국의 마이크론도 본격 참전하는 모양새다.

그렇다면 각 기업들이 2026년 양산을 목표로 하는 6세대 HBM4는 어떤 모습일까. 기존 HBM은 여러 개 D램을 쌓은 뒤, 곳곳에 1024개의 구멍을 뚫어 정보 출입 통로를 만들었다. 그런데 HBM4는 이 통로 숫자가 2배로 늘어난 2048개가 된다. 또 연결선 하나당 데이터 전송 속도는 더욱 빨라진다. 그 결과, 대역폭이 이전 세대인 HBM3E보다 두 배 이상 증가한다. 쌓아 올리는 단층집(D램) 층수도 12층에서 16층까지 늘어나 저장 데이터 용량도 늘어난다.

10년 이상 더 먼 미래의 HBM은 어떤 모습일까. 먼저 GPU와 HBM을 지금처럼 수평으로 배치하는 게 아니라, 수직으로 쌓아 ‘주상 복합 건물’ 구조(3D 패키징)처럼 만들 것으로 예상한다. 또 주상 복합에서 ‘백화점·상가 부분’(GPU)과 ‘아파트 부분’(HBM) 사이 경계도 모호해질 것이다. 마치 아파트 중간 층에 카페나 피트니스 센터를 넣는 것처럼, GPU에 있던 일부 계산 기능이 HBM으로 올라갈 수 있다. 이렇게 되면 GPU와 HBM의 경계가 무너지는 시대가 도래한다. 미래엔 오히려 HBM이 GPU에 계산 명령을 하는 지휘자가 될 수도 있다. 이렇게 되면 데이터 저장을 하던 메모리 반도체는 데이터 처리의 변방이 아니라 중심이 된다. 우리나라가 HBM을 절대 사수해야 하는 이유다.

김정호 KAIST 전기·전자공학과 교수

WEEKLY BIZ 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/146096