FMS 열기 핫칩스로…삼성·SK, 넥스트 HBM으로 ‘생각하는 메모리’ 기술 선보인다 [칩칩팹팹]

美 고성능 반도체·컴퓨팅 아키텍처 컨퍼런스
양사, 10년만에 이 행사서 마이크 나란히
2016년 두 회사 모두 HBM 발표
삼성전자, 올해는 베이스 다이 전면에
SK하이닉스, 첨단 패키징 기술 강조
AI 병목으로 떠오른 메모리
‘더 빠르게’에서 ‘직접 연산’까지 역할 확장

<편집자주>
‘칩칩팹팹(Chip Chip Fab Fab)’​은 AI 시대를 움직이는 반도체 산업을 쉽고 깊이 있게 풀어내는 연재입니다. AI 혁명의 핵심인 ‘칩(Chip)’과 이를 만드는 ‘팹(Fab)’을 잇는 이름으로, ‘칙칙폭폭’ 달리는 기차처럼 반도체 산업의 쉼 없는 진보를 담은 표현이기도 합니다. 복잡한 기술은 쉽게, 뉴스 이면의 이야기와 산업의 흐름은 깊이 있게 전하며, AI 시대를 이끄는 반도체의 현재와 미래를 독자들과 함께 읽어갑니다.

반도체 컨퍼런스 ‘핫칩스’ 로고 [홈페이지 캡처]

[헤럴드경제=박지영 기자] 말 그대로 ‘핫 썸머’입니다. 매년 여름 이맘때면 미국 캘리포니아주는 더 뜨거워지는데요. 이번 주 내내 반도체 업계를 달궜던 ‘FMS(Future of Memory and Storage)’라는 반도체 학술 대회와 ‘핫칩스(Hot Chips)’라는 유명 학술대회가 캘리포니아에서 열리기 때문이죠. 올해는 반도체에 대한 관심이 더 커지면서 한층 더 후끈한 것 같습니다.

FMS는 메모리와 스토리지 기술을 전문적으로 다루는 세계 최대 규모의 독립 컨퍼런스로 삼성전자·SK하이닉스·마이크론 등 메모리 업체와 스토리지·데이터센터 기업들이 참여해 HBM(고대역폭 메모리), D램, 낸드, SSD(솔리드스테이트드라이브), CXL(컴퓨트익스프레스링크) 등 차세대 메모리·스토리지 기술과 로드맵을 공개하는 행사입니다. 이번주 삼성전자와 SK하이닉스의 차세대 메모리 기술 공개되면서 HBM 이후 양사의 발전 방향도 확인해 볼 수 있었습니다. 이 얘기는 뒤에서 좀 더 자세히 해보도록 하겠습니다.

오늘 먼저 다룰 학회는 ‘핫칩스’입니다. 1989년 시작돼 매년 8월 미국 실리콘밸리에서 열리는 고성능 반도체·컴퓨팅 아키텍처 분야의 대표 컨퍼런스입니다. 엔비디아·AMD·인텔·IBM·Arm 등 주요 기업이 차세대 CPU(중앙처리장치)·GPU(그래픽처리장치)·AI 가속기와 메모리·패키징 기술을 공개하는 자리로, 학술 논문보다는 실제 제품과 구현 가능한 기술에 초점을 맞추는 게 특징입니다.

산업계에서는 매년 1월에 미국에서 열리는 세계 최대 IT쇼 ‘CES’를 보고 그해 트렌드를 가늠합니다. 핫칩스도 일종의 풍향계 성격을 띄는 행사인데요. 프로그램 구성을 보면 업계가 무엇을 중요하게 보는지 꽤 선명하게 가늠할 수 있습니다.

최근 3년간 핫칩스의 주제들을 볼까요. 2024년에는 엔비디아가 가속기 블랙웰에 대해서, AMD가 가속기 MI300X에 대해서 대표 발표를 하면서 AI를 이용한 하드웨어 설계를 다뤘습니다. 2025년엔 ‘칩’에서 ‘AI 데이터센터’로 초점이 바뀌었습니다. 엔비디아·AMD·구글이 랙 구조와 GPU·TPU(텐서처리장치)·네트워킹 등에 대해서 주로 설명했습니다. 그리고 이것들은 실제 현실에 적용됐죠.

근데 올해 주제가 좀 인상적입니다. 첫 번째 튜토리얼 제목 자체가 ‘메모리 기술(Memory Technology)’입니다. 정식으로 ‘메모리’ 세션도 생겼습니다. 메모리가 AI의 진짜 병목임이 다시 한 번 강조되는거죠.

더 흥미로운 점은 올해 10년 만에 처음으로 삼성전자와 SK하이닉스가 나란히 마이크를 잡는다는 점입니다. 2016년에도 삼성전자와 SK하이닉스는 HBM에 대해서 발표했습니다.

2016년 삼성전자가 핫칩스에서 발표한 장표 중 하나입니다. 삼성전자는 당시 메모리의 발전 방향을 ‘더 높은 대역폭과 더 낮은 전력 소비’로 제시했습니다. 지금도 이 목표에 맞춰서 개선되고 있구요. [핫칩스 홈페이지 캡처]

당시 삼성전자는 ‘차세대 응용처를 위한 그래픽·모바일 메모리의 미래(The Future of Graphic and Mobile Memory for New Applications)’라는 주제로 HBM과 그래픽 메모리의 미래를 제시했고요. SK하이닉스는 ‘HBM의 시대(The Era of High Bandwidth Memory)’에 대해서 발표하며 차세대 HBM 방향을 공개했습니다.

10년 전 발표 내용을 보니 감회가 새롭습니다. 당시 삼성전자는 HBM의 활용처 확대와 함께 메모리 내부에서 연산을 수행하는 ‘PIM’이라는 개념을 내놓았고, SK하이닉스는 HBM2 이후 대역폭과 용량, 전력 효율을 높인 HBM3의 발전 방향을 제시했습니다. 10년 전 그린 청사진은 거의 현실이 됐네요.

올해는 더 흥미롭습니다. 양사가 그리는 메모리의 앞으로 10년을 엿볼 수 있습니다. 첫날 ‘메모리 기술’ 세션에서 먼저 마이크론의 라구 스리라마네니 연구원은 ‘AI 시대를 위한 메모리 아키텍처의 진화(Evolving memory architectures for AI)’에 대해서 발표합니다.

다음으로는 삼성전자의 한상욱 PL이 ‘로직 공정을 활용한 HBM 베이스 다이의 진화 방향(HBM Base Die: How will HBM evolve in the future by utilizing the logic process?)’을, SK하이닉스의 이재식 SK하이닉스 아메리카 부사장은 ‘HBM을 위한 첨단 패키징(Advanced Packaging for High Bandwidth Memory)’을 주제로 발표합니다.

삼성전자는 이번 핫칩스에서 HBM의 ‘베이스 다이(Base Die)’를 전면에 내세웠습니다. 삼성전자가 HBM4에서 시장 리더십을 다시 탈환할 수 있었던 배경 중 하나로도 자체 베이스 다이 설계·생산 역량이 꼽힙니다. (참고로 베이스다이는 HBM의 맨 바닥에 위치해 있는, HBM의 ‘컨트롤타워’로 보시면 됩니다.) 메모리와 로직 설계, 파운드리, 첨단 패키징 역량을 모두 보유한 종합반도체기업(IDM)이라는 강점을 차세대 HBM 경쟁력으로 연결하려는 전략으로 풀이됩니다.

특히 한상욱 삼성전자 연구원의 강연 제목에 ‘로직 공정(logic process)’이 명시됐다는 점이 포인트입니다. HBM의 미래 경쟁력이 더 이상 D램 공정만으로 결정되지 않고, 베이스 다이에 적용되는 로직 공정과 설계 역량까지 확대되고 있다는 의미인거죠.

삼성전자가 지난해 10월 서울 강남구 코엑스에서 열린 ‘반도체 대전(SEDEX) 2025’에서 전시한 HBM3E와 HBM4. [게티이미지]

삼성전자가 이 베이스 다이를 강조하면서 앞으로 커스텀(Custom) HBM에 힘을 줄 것으로도 보입니다. 예전에는 엔비디아든 AMD든 들어가는 메모리 제품이 하나였다면, 지금은 GPU·TPU 등 고객이 원하는 가속기 구조가 다양해지면서 HBM도 맞춤제작하고 싶다는 수요가 높아지고 있습니다. ‘엔비디아용 HBM’, ‘구글용 HBM’, ‘AMD용 HBM’처럼 고객별 최적화된 메모리를 공급하는 거지요. 고객 락인(Lock-in) 효과가 강해진다는 장점이 있습니다.

삼성전자의 다른 발표까지 연결해보면 삼성전자의 메모리 로드맵이 그려집니다. 8월 25일에는 LPDDR5X(저전력D램)-PIM(프로세싱-인-메모리)에 대해 발표합니다. PIM은 이른바 ‘뇌’를 닮은 메모리로, 메모리 내부에 연산 기능을 탑재해 데이터를 프로세서로 이동하지 않고 간단한 연산은 직접 처리할 수 있습니다.

강의 주제는 ‘삼성 LPDDR5X-PIM: AI 추론을 위한 세계 최초 LPDDR 기반 연산 메모리 솔루션(Samsung LPDDR5X-PIM: World’s First LPDDR based Processing in Memory Solution for AI Inference)’입니다.

삼성전자가 제시한 PIM와 CXL. [챗GPT로 제작]

지금까지 PIM은 HBM-PIM처럼 데이터센터용 고성능 메모리에 집중됐습니다. 근데 이걸 LPDDR5X까지 확대하겠다는 건데요. LPDDR5X는 우리가 매일 쓰는 스마트폰, AI PC 등에 사용하는 저전력메모리입니다. 기존에는 CPU나 GPU가 메모리에서 데이터를 불러와 연산한 뒤 다시 메모리에 저장해야 했다면, PIM은 일부 연산을 메모리 내부에서 수행하고 필요한 결과만 CPU나 NPU로 전달합니다. 데이터 이동을 줄여서 성능도 높이고, 전력 효율도 높인다는 거죠.

한국의 반도체 팹리스(설계) 스타트업인 엑시나(XCENA)와 삼성전자의 CXL 공동 발표도 같은 방향입니다. CXL은 CPU, GPU, 메모리를 유기적으로 소통할 수 있도록 만드는 차세대 연결 기술입니다. CXL을 지원하는 CMD-D(CXL 메모리 모듈)를 연결하면 메모리 용량을 대폭 확장할 수 있습니다.

삼성전자의 방향은 명확합니다. 앞으로 데이터를 CPU나 GPU까지 이동시켜 처리하는 대신, 메모리 가까이에 연산 기능을 배치해 일부 작업을 처리하겠다는 겁니다. 메모리의 역할을 ‘단순히 데이터만 저장하는 장치’에서 ‘연산까지 보조하는 장치’로 확장하겠다는 것이죠.

SK하이닉스가 지난 2일 대만에서 열린 ‘컴퓨텍스 2026’에 마련된 자사 부스에서 HBM4E 12단 48GB(기가바이트) 샘플 실물과 스펙을 처음으로 공개했다. 젠슨 황 엔비디아 CEO는 HBM4E 코어다이 웨이퍼에 ‘더 만들어 달라(Please make more)’이라고 사인했다. 박지영 기자.

SK하이닉스는 ‘패키징’을 강조하는 점도 흥미로운 지점입니다. SK하이닉스는 TSMC의 첨단 로직 공정과 첨단 패키징 공정인 ‘CoWoS(칩 온 웨이퍼 온 서브스트레이트)’를 결합하고 있습니다. TSMC 의존도가 상당히 높은 편인데요. HBM은 세대를 거듭할수록 발열과 칩이 휘는 현상, 두께와 수율 문제가 커지는 만큼 후공정인 패키징 기술의 중요성이 더욱 높아지고 있기 때문에 이를 강조한 것으로 보입니다. 특히 SK하이닉스는 16단 이상 HBM 시대에 준비하기 위해 하이브리드 본딩 방식도 검토하고 있습니다.

숨가쁘게 달려왔는데요. 이번 핫칩스의 포인트는 메모리의 높아진 위상과 단순히 데이터를 저장·공급하는 역할을 넘어 연산의 일부까지 분담하는 방향으로 진화하는 메모리 기술로 정리해 볼 수 있겠습니다. 지금까지 한국을 ‘칩 팩토리’라며 무시하는 시각도 있었는데요. 이젠 단순 ‘칩 공급자’에서 ‘AI 시스템의 핵심 설계 파트너’로 도약하려는 거죠. 고객도 메모리를 단순 부품 취급하지 못할테고, 더 높은 수익성도 가져갈 수 있는 중요한 시기로 보이네요.

맨 처음 언급한 FMS(Future of Memory and Storage)’에서 소개된 삼성전자와 SK하이닉스의 신기술은 아래 기사에서 확인해주세요. 그럼 더위 조심하세요!