오픈AI는 ‘자체 칩’ 삼성은 ‘연산 메모리’…AI반도체 병목 푼다

반도체 업계의 최신 설계·기술을 공유하는 학회 ‘핫칩스 2026’이 지난 23~25일(현지시간) 미국 실리콘밸리에서 열렸다. 삼성전자, SK하이닉스를 비롯해 오픈AI와 엔비디아, AMD, 인텔, 구글, 메타, 마이크론 등 주요 기업들이 참여했다. 사진 핫칩스

인공지능(AI) 반도체 경쟁이 시스템 전체의 병목을 푸는 방향으로 넓어지고 있다. 챗봇·에이전트형 AI의 확산으로 학습을 넘어 추론 수요가 급증하면서, 개별 칩의 연산 성능만 높여서는 전체 성능을 끌어올리기 어려워졌기 때문이다. 지난 23~25일(현지시간) 미국 실리콘밸리에서 열린 세계적인 반도체 학술 회의 ‘핫칩스(HOT CHIPS) 2026’에서도 이 같은 흐름이 뚜렷하게 드러났다.

1989년 시작한 핫칩스는 미래 반도체 기술의 방향을 볼 수 있는 ‘풍향계’로 통한다.

━

오픈AI 첫 자체칩…엔비디아에 도전

가장 눈길을 끈 발표는 오픈AI가 처음으로 내 놓은 자체 추론칩 ‘할라피뇨(Jalapeño)’였다. 지난 6월 브로드컴과 공동개발한 칩을 공개한 데 이어, 이번 핫칩스에선 구체적인 성능시험 결과와 세부 설계를 내놨다. 그래픽처리장치(GPU)는 여러 AI 작업에 두루 쓰이지만 가격과 전력 부담이 크다. 반면 자체칩은 필요한 기능에 집중해 비용과 전력을 아낄 수 있다.

지난 6월 샘 올트먼 오픈AI CEO(왼쪽)와 혹 탄 브로드컴 CEO가 할라피뇨 웨이퍼를 들고 있다. 오픈AI

오픈AI는 할라피뇨가 엔비디아 ‘블랙웰’ 기반 GB200·GB300 시스템보다 전력당 처리량은 최대 1.9배 높고 응답시간은 최대 3.6배 짧았다고 밝혔다. 특정 모델과 조건에서 자체 측정한 결과지만, 엔비디아 GPU가 맡던 추론 일부를 자체칩으로 돌릴 가능성을 보여줬다. 오픈AI는 AI를 활용해 설계부터 테이프아웃(설계 완료)까지 9개월 만에 마쳤다고 밝혔다.

이를 두고 자체 칩을 개발하는 빅테크(대형 기술기업)들의 ‘탈(脫)엔비디아’가 빨라질 것이라는 관측이 나왔다. 이에 대해 젠슨 황 엔비디아 최고경영자(CEO)는 “우리는 매우 다른 것을 만들고 있다”며 자체칩과 엔비디아의 범용 AI 플랫폼은 역할이 다르다고 선을 긋기도 했다.

━

연산 속도보다 전력 효율…엔비디아의 ‘랙’ 해법

지난 1월 미국 라스베이거스에서 열린 CES2026에서 젠슨 황 엔비디아 최고경영자(CEO)가 루빈 GPU를 선보이고 있다. 뉴스1

에이전트형 AI는 스스로 작업 순서를 정하고 검색과 외부 프로그램 실행을 반복한다. 중앙처리장치(CPU)가 일을 나눠주면 여러 GPU가 계산하고, 그 결과에 따라 다음 작업이 이어진다. CPU와 GPU 사이의 연결이 느리면 전체 작업도 늦어질 수밖에 없다.

엔비디아가 내놓은 해법이 ‘베라’ CPU 36개와 ‘루빈’ GPU 72개를 하나처럼 연결한 랙 시스템 ‘베라 루빈 NVL72’다. 엔비디아에 따르면 AI 학습 때 최대 전력을 13% 낮추고, 같은 전력 설비에 GPU를 최대 40% 더 배치할 수 있다. GPU 하나의 성능뿐 아니라 CPU·GPU를 함께 움직이는 ‘시스템 효율’로 차별화하겠다는 전략이다.

━

삼성은 ‘연산 메모리’…하이닉스는 ‘패키징’

삼성전자는 연산 기능을 메모리 반도체 가까이 옮기는 두 가지 해법을 제시했다. 고대역폭메모리(HBM) 맨 아래층인 ‘베이스다이’에 일부 연산 기능을 넣고, 장기적으로는 HBM을 AI 가속기 위에 직접 쌓는 ‘zHBM’으로 발전시킨다는 구상이다. 저전력 D램 내부에서 일부 계산을 직접 처리하는 ‘LPDDR5X-PIM(프로세싱 인 메모리)’도 선보였다. AI 가속기와 메모리 사이 이동을 줄여 처리 속도를 높이고 전력 소모를 낮추려는 것이다.

김영옥 기자

SK하이닉스는 HBM을 높이 쌓을수록 휨·발열 등의 문제가 커진다며 패키징의 중요성을 강조했다. HBM4E(7세대)까지 기존 접합 방식(MR-MUF)을 쓰고, 반도체 웨이퍼 표면에 있는 절연 물질과 구리를 직접 붙이는 ‘하이브리드 본딩’은 이르면 HBM5(8세대)부터 적용할 수 있다고 설명했다. 다만 미국 기업 마이크론은 이런 기술 경쟁에도 AI 칩의 연산 성능은 2년마다 약 3배 높아지지만 HBM의 데이터 전송 속도는 2배도 채 늘지 못하고 있다며 “메모리 장벽(Memory Wall·연산칩과 메모리 간 속도 격차)이 오히려 더 나빠지고 있을지도 모른다”고 했다.

김인경 기자 kim.inkyoung@joongang.co.kr