[김정호의 AI시대 전략] 삼성전자, 하이닉스, 마이크론의 HBM 승부… 반도체 냉각기술을 보라

반도체 초당 1억번 계산하며 뜨거워져, 열 잘 식혀야 성능 올라
역량 쏟아부어 냉각기술 확보를… ‘삼전닉스’의 운명이 달렸다

삼성전자 직원이 7세대 고역폭메모리(HBM4E) 12단 제품을 선보이고 있다. /삼성전자

사람의 체온이 약 36.5℃인 것은 이 온도에서 인체의 효소, 단백질, 면역 기능이 가장 효율적으로 작동하도록 진화했기 때문이다. 또한 그 온도는 감염에 대한 저항력을 높이고, 수분과 에너지 사용 측면에서 유리한 중간 지점으로 알려져 있다. 따라서 인체는 최적의 생존을 위해 체온을 자동으로 조절한다. 더운 날에는 피부 혈관의 수축과 확장으로 혈류량을 조절하고, 땀의 증발을 통한 기화열로 몸을 식힌다. 체온을 더 빨리 내리고자 한다면 찬물 샤워가 도움이 된다.

이와 마찬가지로 인공지능 시대의 핵심 반도체인 GPU(그래픽 프로세서 유닛)와 HBM(고대역폭 메모리), HBF(고대역폭 플래시)도 열을 효과적으로 식혀야 한다. 반도체는 온도가 낮을수록 성능이 개선되기 때문이다. 그 결과 반도체를 잘 냉각시키면 인공지능 서비스의 성능과 질적 수준이 높아진다.

GPU, HBM, HBF 같은 인공지능 반도체에서 열이 많이 발생하는 이유는 이들이 엄청난 양의 수학 계산을 수행하기 때문이다. 또 메모리에서 데이터를 초고속으로 읽고 쓰는 작업을 반복하기 때문이다. 인공지능은 학습을 하거나 생성 작업에서 수많은 행렬 계산을 한다. 이때 덧셈과 곱셈을 반도체 내 트랜지스터 수백억 개가 동시에 수행한다. 1초에 1억 번 이상 계산한다. 이때 트랜지스터에 전류를 보내고 끊는 동작을 무한히 반복한다. 전류를 보내면 논리적으로 ‘1’이고 전류를 끊으면 ‘0’이다. 반도체 내 미세한 금속선으로 전류가 흐르게 되는데 이 도선의 저항 때문에 열이 발생한다. 또한 트랜지스터가 전류를 켜고 끄는 과정에서도 열이 발생한다. 마찬가지로 HBM과 같은 메모리에서 GPU에 고속으로 데이터를 보낼 때도 금속 도선과 트랜지스터에서 열이 발생한다. 이렇게 인공지능 반도체에서 막대한 열 발생은 필연적이다. 그런데 인공지능 반도체의 전력 사용량과 열 발생량은 더욱 빠른 속도로 증가하고 있다. AI 에이전트의 등장 때문이다. 사람 1명이 앞으로 AI 에이전트 100개를 고용하고, 이 AI 에이전트들이 24시간 일하게 된다.

그래픽=이철원

인공지능 반도체가 열을 받아 온도가 상승하면 결국 성능이 떨어진다. 반도체 온도가 높아지면 트랜지스터의 속도가 늦어진다. 트랜지스터의 저항이 커지면서 전류가 흐르는 속도가 떨어져 결국 인공지능 학습과 추론 시간이 증가한다. 보고서 작성이나 질문 응답에 지체가 발생한다. 이뿐만 아니라 HBM, HBF와 같은 메모리는 읽고 쓰는 시간이 더 길어진다. 누설 전류도 증가한다. 데이터를 잃어버리기도 한다. 심한 경우 다시 써줘야 하는데 이를 ‘리프레시(Refresh)’라고 부른다. 결국 온도가 올라가면 반도체와 데이터센터의 가동률과 운영 효율, 경제성이 크게 떨어지는 것이다.

반도체 냉각은 더울 때 우리 몸의 온도를 식히는 방식과 유사하게 이뤄진다. 먼저 바람을 이용해 식히는 방법을 ‘공기 냉각(Air Cooling)’이라고 한다. 시원한 물로 샤워하면서 식히는 냉각 방식은 ‘직접 액체 냉각(Direct-to-Chip Liquid Cooling)’이라 부른다. 마지막으로 ‘액침 냉각(Immersion Cooling)’이 있는데, 데이터센터 전체를 낮은 온도의 물에 담그는 방식이다. 북극 얼음물 속에 설치할 수도 있다. 찬물 욕조에 몸 전체를 담그는 냉각 방식과 같다. 결국 인공지능 반도체는 이런 기술들의 조합으로 냉각해야 한다. 효율성, 안전성, 보수 유지 편의성, 경제성을 고려해서 설계하고 운영한다.

HBM과 HBF 등 인공지능 메모리는 용량을 높이기 위해 적층 구조를 갖고 있다. 그래서 열 발생 밀도가 대단히 높아 냉각 방식도 어렵다. 미래에는 HBM과 HBF 내부에 GPU 기능과 CPU 기능이 함께 들어간다. 그럼 열 발생량이 더욱 높아진다. 결국 미래 HBM과 HBF의 산업 경쟁력은 냉각 기술 확보에 달려 있다고 본다. 특히 내부에 ‘실리콘 관통 전극(TSV)’이 열 배출 통로가 된다. 여기에 더해 GPU, HBM, HBF 주변에 열을 방출할 수 있는 수직 열 방출 통로를 구축해야 한다. 그 한 예가 ‘열전도 기둥’ 구조다. 또한 반도체를 적층할 때 사용하는 ‘층간 충전재(Underfill)’의 열전도율을 높여야 한다. 냉각 금속판을 반도체에 붙이는 접착제(TIM)의 열전도율 관리도 매우 중요하다. 특히 HBM5부터는 ‘하이브리드 본딩(Hybrid Bonding)’ 기술을 적용해야 한다. 열 방출에 유리하기 때문이다.

SK하이닉스의 'HBM4' 제품 모습./SK하이닉스

아울러 다양한 구조와 냉각 방식에 따른 반도체 온도를 예측할 수 있어야 한다. 이 방법을 ‘열 시뮬레이션 기술’이라 부른다. 이렇듯 인공지능 반도체는 설계와 제작의 난도가 점점 높아지고 있다. 결국 냉각과 열 관리 기술이 HBM, HBF의 미래 경쟁력을 좌우한다. 삼성전자와 SK하이닉스, 마이크론의 장래도 여기에 달려 있다.

이처럼 미래 GPU, HBM, HBF 기술은 복합 기술이다. 소자와 공정으로 시작해 설계를 넘어 냉각 기술과도 결합해 최적화돼야 한다. 설계 자동화와 최적화도 인공지능 기술을 활용해 이뤄진다. 수학, 물리, 화학, 전자공학, 전산학, 인공지능뿐만 아니라 냉각을 위한 기계공학 기술도 필요하다. 이러한 융합 기술의 확보, 그리고 우수한 융합 인재의 확보 여부가 삼성전자와 SK하이닉스의 미래 운명을 가르는 핵심이다. 끊임없는 도전과 혁신이 계속되어야 할 이유다.

마이크론 6세대 고대역폭메모리(HBM4) 제품 이미지./마이크론