차세대 HBM4, ‘메모리 강자’ 삼성·SK에 오히려 위기?

[WEEKLY BIZ] [김정호 교수의 반도체 특강] 한국의 독보적 힘...HBM4로 메모리 산업 생태계 달라질 것

WEEKLY BIZ 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/146096

김정호 KAIST 교수가 제자들에게 받은 스승의 날 케이크. HBM(고대역폭 메모리) 모습을 형상화해 만든 케이크다. 삼성전자와 SK하이닉스가 개발하는 HBM4는 D램 적층 층수가 많게는 16층까지 쌓이고, 베이스 다이엔 GPU에서 수행하던 계산 기능까지 설치된다. /김정호 교수 제공

수년 이내에 일반 인공지능(AGI, Artificial General Intelligence) 시대가 도래할 것이라고 예상한다. AGI는 대학생 정도의 지능·판단력·추리력 그리고 창조 능력을 갖는 AI를 뜻한다. 또 하나 중요한 특징으론 ‘멀티 모달(multi-modal) 생성 기능’이 꼽힌다. 멀티 모달은 오픈AI의 ‘소라’처럼, 이미지·음성·동영상 등 여러 유형의 데이터를 학습해 생성되는 콘텐츠를 뜻한다. 주제나 줄거리를 입력하면 짧은 시간에 영화도 만든다. 인공지능의 ‘능력’은 학습 변수(Model Parameter)란 단위로 표현하는데 이 변수가 1조 단위를 넘어 미래에는 100조를 넘을 수도 있다고 전망된다. 현재 챗GPT의 학습 변수가 1000억 단위라고 하니 AI에 쓰이는 대표적인 반도체인 GPU(그래픽 처리 장치)와 HBM(고대역폭 메모리) 성능이 지금보다 1000배 이상은 향상되어야 한다는 뜻이다.

앞으로 AGI의 능력은 GPU와 HBM 사이에 데이터가 오가는 속도가 결정한다. GPU는 빨리 계산하는데, 그 결과를 메모리 반도체(메모리)에 보내 읽고 저장하는 과정에 시간이 많이 소요되기 때문이다. GPU를 백화점, 메모리를 아파트에 비유해 설명해볼까 한다. 백화점의 동선이 잘 설계돼 쇼핑을 신속히 끝냈다고 하더라도, 집(아파트)까지 가는 길이 막히고 엘리베이터까지 고장 나면 시간이 많이 소요된다. 챗GPT를 써보면 질문에 대한 답을 한 번에 내놓지 못하고 타자 치듯 한 단어씩 뜨는 것을 볼 수 있는데 이런 시간의 지체가 GPU와 메모리 ‘사이’에서 발생한다고 알려졌다. 첨단 메모리인 HBM은 GPU와의 데이터 송수신 속도를 대폭 개선한 것이며, 그래서 HBM이 AGI 시대의 핵심 반도체라고 여겨진다.

HBM의 성능을 높이기 위해서는 제일 먼저 GPU와 연결되는 선(線)의 숫자를 늘리는 방법이 있다. 고속도로로 치면 차선 확장이다. 현재 쓰이는 HBM3E는 ‘차선(핀)’이 1024개인데 미래엔 수십만개로 늘어날 전망이다. 차선을 달리는 ‘버스’ 또한 지금이 1층 버스라면 2층·3층 버스가 달리게 된다. 같은 차선으로 더 많은 데이터를 주고받게 되는 셈이다. 다음으로 HBM은 메모리 소자를 쌓아(적층) 만들기 때문에 데이터가 각 층을 오가는 고속 엘리베이터를 더 많이 설치해야 한다. 이 엘리베이터를 전문 용어로 ‘실리콘 관통전극(TSV, Through Silicon Via)’이라고 부른다.

삼성전자와 SK하이닉스가 현재 치열하게 개발 중인 메모리 ‘HBM4′는 GPU와의 연결선 개수가 2048개로, 지금의 2배로 증가한다. 고속도로 차선이 2배로 늘어나는 셈이다. D랩을 쌓는 층수는 최고 16층으로 높아진다. 가장 주목해야 할 변화는 HBM4 맨 아래에 설치되는 ‘베이스 다이(Base Die)’라는 반도체다. HBM가 아파트고 백화점 격인 GPU와 왕복하는 속도가 중요했다면, HBM4는 아예 아파트 1층에 상가를 넣은 주상복합 건물과 비슷하다.

1층 상가엔 일종의 고속버스 터미널과 비슷한 통신 회로가 들어 있어서 ‘2048 차선’으로 ‘버스’를 엉키지 않게 출발시킨다. ‘승객’ 격인 데이터는 앞서 언급한 TSV라는 초고속 엘리베이터를 타고 순서대로 내려와서 베이스 다이에서 질서 있게 빠른 속도로 고속도로로 출발한다. HBM4는 베이스 다이에 GPU에서 수행하는 계산 기능도 설치한다. 멀리 있는 GPU까지 다녀올 필요 없이, 웬만한 계산은 가까운 1층 ‘상가’에서 처리하려는 목적이다. 거리가 가까울수록 시간은 적게 걸린다. 모두 AGI의 학습과 생성 시간을 줄이기 위한 노력이다. 그 외에도 필요에 따라 자체 테스트, 다른 GPU와의 통신 회로, 영상 신호 처리 기능들이 추가로 들어갈 수 있다. 거의 GPU급이다.

이러한 베이스 다이 설계는 전 세계 메모리 반도체 점유율이 90%에 달하는 삼성전자·SK하이닉스가 엔비디아·AMD·인텔·마이크로소프트·메타·애플·아마존 등 반도체 설계·개발사와 함께 각각의 필요에 따라 만든다. 1층 상가에 무엇이 필요할지, 입주민과 상의해 정하는 식이다.

이제 ‘누가 제작할 것인가’란 질문이 남는다. 메모리 반도체 생산과 파운드리(반도체 위탁 생산 시설)를 모두 운영하는 삼성전자는 베이스 다이를 자체 파운드리에서 제작할 수 있다. SK하이닉스는 파운드리가 없어서 대만 TSMC 공정을 사용해야 한다. SK하이닉스가 TSMC·엔비디아와 협력해야 하는 이유이기도 하다.

메모리 반도체인 HBM은 1층에 베이스 다이가 설치됨으로써 ‘AI 가속기’로 변신한다. 메모리 반도체와 시스템(비메모리) 반도체의 경계가 무너지기 시작한다. 메모리 강국인 한국의 삼성전자와 SK하이닉스에는 위기이자 기회다. HBM은 더 이상 표준화된 메모리 반도체가 아니다. 주문하는 회사마다 요구하는 조건이 다르고 그에 따라 설계가 바뀐다. 이를 ‘맞춤 제작 반도체(customized chip)’라고 부른다. 다양한 고객에 대응하는 맞춤 설계·제작, 소프트웨어, 서비스 등을 함께 제공해야 한다. 기존 메모리 산업의 문화와 생태계와는 달라진다. 강력한 변화와 도전이 예상된다. 삼성전자와 SK하이닉스는 AI 시대에 한국이 갖고 있는 독보적 힘이다. 응원의 박수를 보낸다.

김정호 KAIST 전기·전자공학과 교수

WEEKLY BIZ 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/146096