GPU? HBM?… 반알못 탈출 위한 반도체 속성 특강

[WEEKLY BIZ]

WEEKLY BIZ 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/146096

지난 3월 미국 캘리포니아주 새너제이에서 열린 인공지능 컨퍼런스에서 기조 연설을 하고 있는 젠슨 황 엔비디아 최고경영자(CEO). /AFP 연합뉴스

세계는 지금 인공지능(AI) 전쟁 중입니다. 더 빠르고 정확한 AI를 개발해 산업 생태계 패권을 잡으려는 각축전이 한창입니다. 특히 AI의 두뇌에 해당하는 반도체 기술 역량에 따라 세계 경제가 움직이고 있습니다.

세계 최고 반도체 기업들을 보유한 한국은 그런 변화의 중심에 있습니다. 그러나 HBM·GPU·파운드리에 ‘베이스 다이’까지, 암호같은 용어 탓에 반도체를 이해하기 쉽지 않다는 이도 많습니다. 미래의 핵심 산업인 반도체에 대한 지식은 성공적 투자의 핵심입니다. WEEKLY BIZ가 반도체가 궁금하지만 이해하긴 늦었다고 한숨 쉬는 ‘반알못(반도체를 알지 못하는 사람)’을 위해 김정호 KAIST 전기·전자공학부 교수와 삼성전자·SK하이닉스 등 업계 전문가들의 조언을 들어 기초 다지기 ‘특강’을 준비했습니다. 15분만 투자해 읽으면 반도체 ‘울렁증’이 사라지는 반도체 완전 정복 12문 12답입니다.

1. 반도체는 무엇인가요

조건에 따라 전기가 흐르는 도체(導體)가 되기도, 흐르지 않는 부도체(不導體)가 되기도 하는 실리콘 같은 물질을 ‘반(半)도체’라고 부릅니다. 요즘은 컴퓨터의 ‘두뇌’ 기능을 하는 핵심 부품을 뜻하는 단어로 쓰입니다.

2. 반도체의 종류는 어떻게 나뉘나요

기능에 따라 크게 메모리(memory) 반도체와 비(非)메모리 반도체로 나뉩니다. 메모리 반도체는 정보 저장, 비메모리 반도체는 연산을 담당합니다. 통상 ‘머리가 좋다’고 하면 암기력이 좋은 사람과 머리가 잘 ‘돌아가는’ 사람이 있습니다. 두 능력은 완전히 다른데 전자를 메모리, 후자를 비메모리의 기능에 빗댈 수 있습니다. 비메모리 반도체는 시스템 반도체, 로직 반도체 등으로 불리기도 합니다.

그래픽=김의균

메모리·비메모리 반도체에도 각각 하위 분류가 있습니다. 메모리 반도체는 단기 기억(D램)이냐 장기 기억(낸드플래시)이냐에 따라 나눌 수 있습니다. 비메모리 반도체는 이보다 복잡합니다. 암기 능력은 ‘잘 기억한다’는 비교적 균질한 능력이지만, ‘머리가 잘 돌아간다’는 정의엔 수많은 유형이 있는 것과 비슷합니다(작곡을 잘하는 사람과 시를 잘 쓰는 사람, 암산을 잘하는 사람은 모두 머리가 좋지만 능력의 종류는 완전히 다르지요). 기업들은 자신들에 필요한 ‘능력’에 맞는 비메모리 반도체를 만들거나 주문해서 씁니다. 데이터를 연산·처리하는 중앙 처리 장치(CPU), 스마트폰에 특화된 애플리케이션 프로세서(AP), 그래픽 처리 장치(GPU) 등이 비메모리 반도체입니다. 이 중에 AI 기술과 관련해 기억해야 할 반도체는 (기억하세요!) GPU입니다<그래픽 A>.

3. 그래픽 반도체라는 GPU가 AI에 왜 중요한가요

애초에 GPU는 ‘그래픽 처리 장치’라는 이름에 걸맞게 게임이나 동영상에서 더 풍부한 색감을 구현하도록 만든 반도체였습니다. AI가 등장하기 전까지는 컴퓨터의 부차적 부품이었다고 해도 과언이 아닙니다. 이 GPU를 가장 잘 만드는 회사가 22일 큰 관심 속에 실적을 발표한 미국의 엔비디아입니다. 엔비디아가 의도한 것은 아니지만, GPU라는 반도체는 방대한 정보를 빠르게 학습하고 능력을 키워가는 AI를 구동하기에 매우 적합하다는 점이 드러났습니다. 당뇨 치료를 위해 만든 위고비 같은 약이 알고 보니 비만 치료에 특출난 효과가 있다고 밝혀진 것과 비슷합니다.

4. GPU의 어떤 점이 특출난가요

(이에 대한 답은 매우 기술적이고, 한정된 지면에서 완벽히 설명하기 어렵기 때문에 관심 없는 분은 5번 문답으로 넘어가셔도 무방합니다. ‘GPU는 AI에 적합한 반도체’라는 점만 기억하시면 됩니다.)

간단히 설명하자면 종전 연산용 CPU는 계산의 정확도가 매우 높지만 AI에 쓰기엔 속도가 부족했습니다. 반면 GPU는 계산 정확도는 CPU만큼 높지 않지만 속도가 매우 빠른 특성이 있습니다. 엔비디아는 자동으로 그림을 그리는 장치를 시연한 영상으로 CPU와 GPU의 차이점을 설명합니다. 영상을 보면, CPU에 해당하는 로봇은 종이 위의 필요한 위치에 차례차례 물감을 분사해 얼굴을 그려 나갑니다. 반면 GPU에 해당하는 기계는 필요한 물감을 한 번에 발사해 그림을 완성합니다. 조금 부정확하더라도 시행착오를 빨리, 다양하게 거칠수록 유리한 AI로선 GPU가 더 적합하다고 판명이 났습니다.

5. 엔비디아가 GPU의 유일한 강자인가요

지금으로선 최강자가 맞습니다. 엔비디아는 GPU 한 우물만 판 이례적인 회사입니다. 미국 AMD 등 경쟁자들이 CPU에 눈을 돌리는 동안 엔비디아는 GPU 성능 개발에만 매달렸습니다. 특히 자체 개발한 프로그래밍 언어 ‘쿠다’가 핵심 기술로 꼽힙니다. AI가 제 기능을 하려면 사람이 주는 과제를 GPU가 제대로 이해해야 하는데, 이를 위해 엔비디아는 GPU가 이해하기 쉬운 언어인 쿠다를 개발했습니다. 시장 지배적 위치의 GPU 기업이 만든 언어는 이제 AI 프로그래머들의 기본 언어가 됐고, 이젠 쿠다 없이 AI 프로그래밍이 번거로운 상황이 됐습니다. 모두가 영어를 쓰는 나라에 한국어만 아는 사람이 가면 소통이 어려운 것과 비슷합니다<그래픽B>.

젠슨 황 엔비디아 최고경영자가 지난 3월 미국 캘리포니아주 새너제이에서 열린 개발자 콘퍼런스 GTC2024에서 최신형 AI 가속기 GB200을 선보이고 있다. 손에 든 기판 위쪽에 비스듬히 놓인 두 개의 하얀 사각형 안에 각각 GPU 2개씩과 HBM 8개씩이 배치돼 있다. 기판 중앙의 반도체는 CPU로, GPU에 연산 스케줄을 전달하는 역할을 한다. AFP 연합뉴스 /그래픽=김의균

6. 엔비디아가 GPU를 개발하면, 누가 만드나요

엔비디아는 GPU를 공장에서 ‘제조’하는 회사는 아닙니다. GPU가 최고의 성능을 낼 수 있도록 설계, 즉 디자인을 하는 기업입니다. 엔비디아같이 공장 없이 반도체를 개발하기만 하는 기업을 ‘팹리스(fabless)’라고 부릅니다(제작을 뜻하는 패브리케이션<fabrication>에 없다는 뜻인 리스<less>가 붙은 파생어입니다). 이런 팹리스에서 주문을 받아 반도체를 만드는 회사는 ‘파운드리(foundry)’라고 부릅니다. 대만의 TSMC가 대표적인 파운드리이고 한국의 삼성전자도 파운드리 사업을 합니다. 엔비디아의 GPU는 주로 세계 1위 파운드리인 TSMC가 생산하고 있습니다.

그래픽=김의균

위의 구분은 용도에 따른 ‘맞춤 생산’이 필요한, 비메모리 반도체에 대한 분류입니다. 대규모 생산 시설이 필요한 메모리 반도체의 경우 몇 안 되는 회사가 개발부터 제작까지 다 맡아 하는데 삼성전자와 SK하이닉스가 세계 메모리 반도체의 약 70%를 생산하고 있습니다. 참고로 반도체의 성능은 ‘나노미터(10억분의 1미터)’에서 따온 ‘나노’라는 단위로 표시하는데요, 숫자가 작을수록 성능이 좋다는 뜻입니다<그래픽 C>.

7. 메모리 반도체도 AI 시대에 중요한가요

물론입니다. 기억을 저장하는 능력이 없다면, 머리가 아무리 잘 돌아가도 한계가 있겠지요. 한국 기업도 AI 시대에 맞춰 열심히 움직여 AI에 적합한 메모리 반도체를 만들었습니다. SK하이닉스가 개발해 선보인 ‘HBM(고대역 메모리)’ 반도체가 대표적입니다.

8. HBM은 어디에 쓰이나요

GPU가 중요하다지만 그것만 있다고 AI가 돌아가지는 않습니다. AI가 빠르게 시행착오를 거치며 학습하려면 연산 속도만큼 빠르게 데이터를 저장하고 뽑아 쓸 수 있는 반도체도 필요합니다. 이것이 HBM입니다. 아무리 많은 용량을 저장하더라도, GPU의 연산 속도를 쫓아갈 만큼 GPU에 빠르게 데이터를 전달하지 못하면 데이터의 ‘병목 현상’이 발생합니다. HBM은 이 문제를 해결해 줍니다. 한 번에 모든 것을 이해할 수 있는 뇌가 있어도 내용을 빨리 읽는 눈이나 책장을 빨리 넘길 손이 없다면 소용이 없겠지요. HBM은 민첩한 눈과 손처럼 방대한 자료를 빠르게 GPU에 넘겨줍니다. 그래서 HBM이 들어간 GPU 반도체 세트를 ‘AI 가속기’라고 부릅니다<그래픽 D>.

그래픽=김의균

9. HBM은 어떻게 빠른 속도를 내나요

HBM의 핵심은 메모리 반도체(D램) 중간중간에 일종의 데이터 ‘도로’(실리콘 관통 전극<TSV>이라 부릅니다)를 만들어 데이터가 빨리 오가게 만들었다는 것입니다. 일반적인 D램의 ‘도로’가 32~64차선 도로라면 HBM은 이 도로를 1024차선 이상으로 대폭 확대했다고 이해하면 됩니다. 게다가 이런 D램을 여러 층으로 쌓아서 AI에 필요한 방대한 데이터를 한 번에 저장하고, 이 데이터들이 편히 오가게 만들었습니다. 여러 D램을 수직으로 쌓아 올리는 HBM의 특성 때문에 TSV를 도로가 아닌 엘리베이터에 비유하기도 합니다.

10. HBM은 어디까지 발전했나요

2013년 SK하이닉스가 세계 최초로 개발한 이후 HBM은 발전을 거듭해 왔습니다. 특히 2020년 ‘챗GPT’ 같은 생성형 AI(인간의 언어를 이해하고 응답하는 AI) 시대가 도래하자 ‘제 역할’을 찾은 HBM이 빠른 속도로 발전을 거듭하고 있습니다. SK하이닉스는 HBM의 성능과 용량을 계속 향상시켜 올해 3분기에 최고 12단(지금은 최고 8단) ‘HBM3E’를 양산할 계획입니다.

아울러 GPU 옆에 HBM을 배치하던 종전 방식에서 벗어나 HBM 아래 간단한 연산(비메모리) 기능을 수행하는 반도체를 놓는 이른바 HBM4 양산도 눈앞에 두고 있습니다. 메모리와 비메모리 반도체의 거리를 좁혀 데이터 운반 효율성을 높이겠다는 전략입니다.

11. GPU 위에 HBM을 올리면 무엇이 좋아지나요

HBM4의 ‘1층’을 통상 ‘베이스 다이(Base Die)’라고 부릅니다. GPU의 보조적 역할을 담당하는데, 더 발전하면 GPU의 기능을 상당히 수행할 수 있다는 전망도 나옵니다. GPU를 백화점, HBM을 백화점에서 산 물건을 저장하는 아파트에 비유하면 HBM4는 필요한 상가를 1층에 모아 놓은 주상 복합 건물과 비슷하다고 할 수 있습니다. 삼성전자와 SK하이닉스 모두 개발 중입니다.

그래픽=김의균

이 베이스 다이엔 보다 복잡한 연산을 수행하는 ‘정식’ GPU까지 데이터가 잘 오고 가게 할, 일종의 ‘고속 터미널’ 역할을 하는 통신 회로도 들어 있습니다. 아파트(HBM)에서 엘리베이터(TSV)를 타고 이동하는 사람(데이터)들이 오가는 1층 상가층(베이스 다이)에 고속 터미널이 생겨서, 사람들이 백화점(GPU)까지 더 효율적으로 이동할 수 있게 됐다고 할 수 있습니다<그래픽 E>.

12. AI 시대는 한국 반도체 기업들에 기회인가요

AI 반도체 시장에서 HBM이 중요해진 현재 상황은 메모리 반도체 강자인 한국 기업들에는 반가운 일입니다. 하지만 HBM을 처음 개발한 SK하이닉스도 마냥 웃을 수만은 없는 상황입니다. 연산 능력까지 갖춘 HBM4용 베이스 다이를 SK하이닉스 혼자서는 만들 수 없기 때문입니다(SK하이닉스는 메모리 반도체는 잘 만들지만 고성능 GPU는 제작하지 못합니다).

SK하이닉스는 그동안 엔비디아의 ‘AI 가속기’에 들어가는 HBM을 만들어 대만 파운드리 TSMC로 공급해 왔습니다. TSMC는 엔비디아 의뢰로 GPU를 만드는 것 외에 SK하이닉스의 HBM을 받아 최종 결합하는 작업(패키징)을 해왔고요. 이른바 SK하이닉스-TSMC-엔비디아 ‘연합군’입니다. 한편에선 TSMC가 이제 HBM 제조 단계까지 손을 뻗치고 있다고 합니다.

메모리 반도체 설계·제조와 파운드리를 모두 운영하는 삼성전자는 베이스 다이를 자체 제작할 수도 있습니다. GPU부터 HBM까지 모두 만들 수 있다는 뜻입니다. 삼성전자는 엔비디아 반도체를 일부 주문받기도 했습니다. 하지만 엔비디아·TSMC·SK하이닉스가 협력하며 세를 불리는 상황에 이들을 이겨낼 수 있을지가 관건입니다. 삼성전자가 최근 반도체 부문을 이끄는 DS부문장(부회장)을 갑자기 교체한 배경에 이런 위기감이 작용했을 수 있다는 해석이 나오는 이유입니다.

WEEKLY BIZ 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/146096