엔비디아 브로드컴 다 한물 갔다고?…월가 큰손들, 왜 ‘이 주식’에 주목하나

SK브로드밴드 가산 IDC에 구축된 AI 데이터센터(AIDC) 모습. [뉴스1]

블룸버그 통신에 따르면 미국 데이터 센터 인근 지역의 전기 요금은 5년전에 비해 267% 올랐다고 한다. 인공지능이 소모하는 전력이 엄청나기 때문이다. 미국 50개주 가운데 13개주가 그렇고, 범위는 계속 확대되고 있다.

특히 데이터센터를 운영하는 빅테크 기업들은 전력을 도매로 사기 때문에 그들이 전기요금을 할인 받는 만큼 서민들이 더 부담해야 한다. 지난 겨울 난방비가 없어 집에서 스키복을 입고 지냈다는 불평도 들린다.

반도체 시장이 에너지 효율 전쟁으로 돌입하고 있다. 저전력·저발열에 세계적 경쟁력이 있는 회사의 몸값이 뜨고 있다. 김학주 한동대 AI융합학부 교수를 통해 향후 AI 시장 승자와 투자 유망 종목을 일문일답 형식으로 정리해봤다.

- AI 시장이 거품론을 넘어 계속 커지려면 어떤 난관을 극복해야 하나

포퓰리스트인 정치인들이 인공지능을 곱게 보지 않을 수 있고, 그들이 인공지능에 잠시 브레이크를 걸 수도 있다. 그런데 인공지능에는 이미 천문학적인 자금이 투자된 상태다. 여기서 쉬어 간다면 인공지능에 투자했던 많은 기업들이 도산할 수도 있다. 인공지능이 계속 전진하려면 스스로 전력을 덜 소모하는 쪽으로 진화해야 한다.

한편 반도체 가격도 너무 비싸다. 과연 데이터 생산 원가가 이렇게 높은 가운데 빅테크 기업들은 인공지능 추론 서비스에서 이윤을 낼 수 있을까? 그들은 ‘승자 독식(The winner takes it all) 게임’ 중이다. 지금은 그들의 사업이 각기 다른 모습이나 미래 지향하는 곳은 하나다. “무엇이든 물어보세요. 모두 속 시원하게 해결해 드립니다”라는 식의 서비스다.

예를 들어 “당신의 혈액 정보를 보면 지금은 이런 병이 없지만 몇 년 후 그 병에 노출될 확률이 몇 %이며, 이를 예방하려면 생활습관을 이렇게 바꾸거나 이런 약을 드세요”라는 차별적인 서비스를 제공하는 플랫폼으로 사람들은 몰릴 수 밖에 없다.

그러려면 인공지능이 더 스마트해져야 한다. 그런데 당장은 그 방법으로 메모리 반도체를 더 쓰는 수 밖에는 없고, 치솟는 메모리 반도체 가격에 삼성전자, 하이닉스는 즐거운 비명을 지르고 있다. 빅테크 기업들은 차별적인 서비스를 선점하기 위해 비싼 메모리 반도체 가격을 불사하고 있지만 궁극적으로 상업적인 서비스를 위해 메모리를 덜 쓰는 방법들을 개발하고 있다.

- 전력을 덜 쓰면서 어떻게 AI가 커지나

흥미로운 점은 전력 소모를 줄이는 것과 반도체를 덜 쓰는 방법이 일맥상통한다는 사실이다. “인공지능은 계산 그 자체보다 외부 메모리 반도체(HBM)에서 연산장치(GPU)로 데이터를 전송하는데 훨씬 많은 전력이 소모된다”고 엔비디아의 수석 과학자인 빌 댈리(Bill Dally)가 말했다.

인공지능의 전력 소모를 부문별로 보면 데이터 전송 40%, 발열 냉각 35%, 계산 15%, 데이터 저장 유지 10%로 나뉠 수 있다. 데이터 전송시 발열을 감안하면 그 비중이 더 높아질 것이다. 결국 전력 소모를 줄이려면 HBM과 같은 외부 메모리 반도체로부터의 데이터 전송을 최소화해야 하며, 이 경우 장기적으로는 HBM 수요를 위협할 수 있다.

김형규 디자이너

우선 외부 메모리인 HBM대신에 연산장치(GPU) 내부에 달려 있는 SRAM을 더 이용해보자는 움직임이 있다. SRAM은 용량이 작다는 약점이 있지만 GPU가 빈번하게 사용하거나 HBM까지 다녀오기 어려운 긴급한 자료의 경우 GPU 내부의 SRAM에 저장해 사용한다.

계산 자체에 사용되는 전력을 1이라고 할 때 내부 메모리인 SRAM에서 데이터를 꺼내어 연산하는 전력은 5~10 정도다. 반면 외부 메모리인 HBM에서 데이터를 가져올 경우 100~1000만큼 전력이 소모된다.

왜냐하면 많은 양의 데이터가 좁은 구리선을 통해 이동할 때 저항이 커질 수 밖에 없고, 거리가 길어질수록 저항은 확대되며 그 만큼 신호는 약해지는 바, 계산시 약해진 신호를 증폭해 사용하는데 필요한 전력량이 상당하기 때문이다. 결국 데이터 전송거리를 줄일수록 저전력·저발열이 가능해진다.

그래서 데이터 전송거리가 짧은 SRAM을 더 사용하자는 것이다.그록(Groq), 세레브라스(Cerebras)같은 기업들은 SRAM의 약점, 즉 용량이 작고 부피가 크며 비싸다는 점에도 불구하고 저전력 저발열을 위해 외부 HBM 연결 없이 반도체 칩을 SRAM으로 도배하는 구조를 설계했다. 간단한 추론 서비스는 이 정도로도 가능하다는 것이다.

- 마벨이 최근 뜨는 이유는 무엇인가

메모리 안에 연산장치를 집어넣어 일체형(CIM·Chip in Memory)을 만들면 전송거리가 더 짧아져 소모 전력 절감을 극대화할 수 있다. 이런 미세한 공간에서의 데이터 전송은 예민한데 그 노하우를 마벨 테크놀러지(Marvell Technology)가 갖고 있다. 마벨은 2021년 인피(Inphi)를 인수했는데 인피가 반도체간 신호 연결에 있어 세계 최고였다. 좁은 공간에서의 신호 연결도 인피의 역량이다.

그리고 외부 메모리인 HBM에서 대량의 데이터를 불러 올 때 전력소모 및 발열을 줄이기 위해 전송 매개체를 구리선에서 레이저 광통신으로 바꾸려는 추세다. 광통신 네트워킹에서도 인피가 최고의 솔루션을 보유하고 있다. 구글, 마이크로소프트, 아마존 등 빅테크 기업들이 인피의 지적 재산권 없이는 칩(ASIC)간 네트워킹을 설계할 수 없을 정도로 인피는 빅테크에게도 ‘갑질’을 했다. 저전력, 저발열 신호 연결이 인공지능의 병목 해소의 핵심이 되어가는 과정에서 인피를 인수한 마벨 테크놀러지의 성장은 열려 있다.

기사 전문은 매일경제신문의 프리미엄 재테크 콘텐츠 플랫폼 매경플러스에서 확인할 수 있습니다. 네이버에서 ‘매경플러스’를 검색하거나, 스마트폰으로 아래 QR코드를 찍으면 연결됩니다.