열받은 AI서버에 물 끼얹는다…엔비디아 도입하는 '액체냉각'

젠슨황 엔비디아 CEO가 2일 대만 타이베이 국립대만대 스포츠센터에서 컴퓨텍스 타이베이 2024 기조연설을 하고 있다. 타이베이(대만)=이희권 기자

엔비디아가 오는 4분기 출시될 차세대 인공지능(AI) 반도체부터 액체냉각을 본격적으로 도입한다. AI 서버의 학습·추론 과정에서 발생하는 막대한 열을 액체를 활용해 식히겠다는 것이다. 지금까지는 에어컨에서 나오는 차가운 공기를 이용해 서버의 열을 식히는 공랭식 냉각이 주로 활용됐다.

정보기술(IT) 업계에 따르면, 엔비디아는 25일(현지시간)부터 열리는 반도체 콘퍼런스 ‘핫칩 2024’에서 기존 공랭식에 액체냉각을 더한 새로운 냉각방식을 공개할 예정이다. 서버에 온수를 통과시켜 열을 식히는 방법이 유력하다. 엔비디아는 새 냉각 방식이 전력 소비를 최대 28%까지 줄일 것으로 보고 있다. 전체 AI 반도체 시장의 90% 가까이를 차지한 엔비디아가 본격적으로 액체냉각 방식을 도입하면서 전체 서버 시장에도 지각변동이 예상된다.

엔비디아의 차세대 AI 반도체 블랙웰을 활용한 서버 플랫폼. 사진 엔비디아

최근 AI 인프라가 폭발적으로 늘어나면서 데이터센터 전력 요구가 증가함에 따라 공기로 열을 식히는 방식은 한계에 이르렀다. 데이터센터의 최적 온도는 20~25도인데, 전체 전력 중 절반 가까이가 서버 발열을 잡는 데 사용된다. 액체는 공기보다 열 흡수량이 3000배 이상 많고, 데이터센터의 냉각 효율이 높을수록 성능을 더 끌어올릴 수 있다.

물을 주요 냉각매로 활용해 ‘수랭(水冷)식 냉각’으로도 불리지만 물 이외의 다른 액체를 사용하는 경우가 늘어나면서 최근에는 액체냉각이라는 표현이 점차 굳어지는 추세다. 골드만삭스는 2026년까지 전체 서버에서 액체냉각 비중이 57%까지 높아질 것으로 전망했다.

━

AI는 열(熱)과의 싸움

마이크로소프트의 해저 데이터센터 실험 ‘나틱 프로젝트’. 해저에 컨테이너 형태의 데이터센터를 설치해 운영한다. 사진 MS

AI 데이터센터 운영에는 막대한 전력이 소모된다. 미국 스탠퍼드대가 지난해 발표한 보고서에 따르면 오픈AI의 챗GPT와 40회 안팎의 질문과 응답이 포함된 대화를 나눌 때마다 데이터센터에서 발생하는 열을 해결하기 위해 생수 한 병(500ml)에 해당하는 물이 필요한 것으로 추산됐다.

반도체 업계에서는 전기가 통하지 않는 냉각유(油)에 서버를 통째로 담가 열을 식히는 액침냉각도 연구 중이다. 다만 이를 위해서는 서버 설계를 모두 바꿔야 한다. 엔비디아는 지금의 서버 규격을 바꾸지 않고 액체냉각을 부분적으로 도입하는 방식을 검토 중인 것으로 알려졌다.

━

서버 냉각방식까지 ‘표준’ 세운 엔비디아

젠슨 황 엔비디아 최고경영자(CEO)와 찰스 리앙 슈퍼마이크로컴퓨터 CEO(오른쪽)가 컴퓨텍스 2024 기조연설에서 엔비디아의 인공지능(AI) 반도체와 슈퍼마이크로컴퓨터의 서버 냉각시스템을 소개하고 있다. 타이베이(대만)=이희권 기자

앞서 서버 냉각기술은 주로 데이터센터를 운용하는 구글·마이크로소프트(MS)·아마존이나 서버 제조기업의 몫이었다. 반도체 업계 관계자는 이번 엔비디아의 발표에 대해 “이제 냉각방식을 비롯한 전체 AI 서버 표준을 엔비디아가 주도하겠다는 전략”이라고 평가했다. 엔비디아는 지난 3월 신형 AI 칩 ‘블랙웰’을 공개하며 칩 단품이 아닌, AI 서버 완제품까지 통으로 판매하겠다는 방침을 공개한 바 있다. 이에 더해, 앞으로는 냉각장치까지 포함한 엔비디아 AI 서버 완제품을 공급하겠다고 선언하는 셈이다.

이에 업계에서는 상당수 서버 제조업체와 데이터센터 운영사 역시 엔비디아가 제안한 액체냉각 방식을 따를 가능성이 클 것으로 본다. 엔비디아 관계자는 “블랙웰은 단순한 그래픽처리장치(GPU)가 아니라 하나의 AI 플랫폼”이라고 말했다.

━

SK·LG도 도전

데이터센터 서버를 냉각유에 넣어 냉각하는 액침냉각 기술. 기존 공랭식 대비 전력효율을 30% 이상 개선했다. 사진 SK엔무브

전 세계 데이터센터 액체냉각 시장은 2030년 160억 달러(약 21조원)까지 커질 것으로 예상된다. 액체냉각 전체 설치 비용은 공랭식보다 3배 이상 높은 것으로 알려졌다. 앞으로 서버 성능과 용도에 따라 공랭식·액체·액침냉각 등으로 냉각방식이 다양해질 것이란 전망이 나온다.

국내 기업들도 ‘열 받은’ AI 서버를 위한 냉각 시장에 뛰어들고 있다. LG전자는 데이터센터 열을 식히는 데 활용되는 초대형 냉각기인 칠러 사업에서 3년 내 연 매출 1조원에 도전한다. SK이노베이션의 윤활유 자회사인 SK엔무브는 냉각유를 활용한 데이터센터 액침냉각 솔루션을 올 하반기에 출시할 예정이다.

이희권 기자 lee.heekwon@joongang.co.kr