“엔비디아보다 빠르고 효율적”…오픈AI, 자체칩 ‘할라피뇨’ 승부수[이규화의 글로벌AI]

자체 칩 벤치마크…“속도·처리량 모두 잡았다”
엔비디아 B300보다 최대 3.6배 저지연 실현
올해 말 배치, AI칩 엔비디아로부토 독립 가속
엔비디아와 협력은 지속…외부 칩도 병행 전략

오픈AI. 로이터 연합뉴스

오픈AI가 자체 설계한 인공지능(AI) 반도체 ‘할라피뇨’(Jalapeño)의 첫 성능 시험 결과를 공개하며 엔비디아 중심의 AI 반도체 시장에 도전장을 던졌다.

오픈AI는 할피피뇨가 엔비디아의 최신 고성능 AI 시스템보다 AI 작업을 더 효율적으로 처리하면서도 사용자에게 더 빠르게 응답할 수 있다고 주장했다.

미 IT매체 더버지의 25일(현지시간) 보도에 따르면 오픈AI의 할라피뇨는 오픈AI가 지난 6월 브로드컴과 함께 공개한 첫 자체 AI 칩으로, AI 모델을 새롭게 학습시키는 ‘훈련’보다는 이미 학습된 모델이 질문에 답하고 작업을 수행하는 ‘추론’에 특화된 주문형반도체(ASIC)다.

이번 발표에서 가장 주목되는 대목은 속도와 전력 효율이다.

오픈AI에 따르면 할라피뇨는 추론 벤치마크에서 엔비디아 GB200·GB300 기반 시스템과 비교해 최대 1.9배 많은 AI 작업을 동일한 전력으로 처리했다. 또 AI가 답변을 완성하기까지 걸리는 엔드투엔드 지연시간은 1.7~3.6배 낮았다. GPT-OSS 120B, 딥시크 R1, 1조개 파라미터 규모의 키미 K2.5 1T 등 서로 다른 AI 모델에서도 이 같은 성능 우위가 나타났다고 오픈AI는 밝혔다.

특히 할라피뇨의 차별점으로 제시된 것은 ‘처리량’과 ‘지연시간’을 동시에 개선했다는 점이다.

AI 반도체는 일반적으로 한꺼번에 처리할 수 있는 작업량을 늘리면 개별 사용자에 대한 응답 속도가 느려지는 상충관계가 발생할 수 있다. 오픈AI는 할라피뇨가 이러한 한계를 줄여 대규모 AI 서비스를 운영하면서도 사용자에게 보다 빠른 응답을 제공하도록 설계됐다고 설명했다. 이는 여러 단계의 작업을 연속적으로 수행해야 하는 AI 에이전트 시대에 특히 중요한 특성이다.

다만 이번 성능 수치를 곧바로 ‘챗GPT가 3배 빨라진다’는 의미로 받아들여서는 안 된다. 이번 결과는 특정 벤치마크 환경에서 측정된 추론용 반도체 성능이며, 할라피뇨가 아직 오픈AI의 모든 서비스에 대규모로 적용된 것은 아니다.

오픈AI는 올해 말 제한적인 배치를 시작한 뒤 2027년 생산을 확대할 계획이다. 또한 추론에 특화된 칩인 만큼 AI 모델을 훈련하는 데 필요한 컴퓨팅 자원까지 할라피뇨가 대체하는 것은 아니다.

그럼에도 이번 발표는 AI 산업의 경쟁구도가 한층 복잡해지고 있음을 보여준다. 지금까지 오픈AI는 AI 모델 개발과 서비스에 집중하면서 막대한 컴퓨팅 자원을 엔비디아 등 반도체 업체에 의존해 왔다.

하지만 AI 사용량이 폭증하면서 추론에 필요한 반도체와 전력비용 역시 급격히 증가하고 있다. 자체 칩을 설계하면 AI 모델과 소프트웨어, 반도체, 메모리, 네트워크를 하나의 시스템으로 최적화해 비용과 전력 소비를 낮출 여지가 커진다. 오픈AI가 할라피뇨를 여러 세대에 걸친 ‘자체 AI 컴퓨팅 플랫폼’의 시작으로 규정하는 것도 이 때문이다.

구글과 아마존 등 주요 빅테크가 자체 AI 반도체 개발에 뛰어든 데 이어 오픈AI까지 하드웨어 설계에 본격적으로 진입하면서 AI 경쟁은 이제 ‘누가 더 좋은 모델을 만드는가’를 넘어 ‘누가 더 효율적으로 AI를 구동할 수 있는가’의 경쟁으로 확장되고 있다.

다만 오픈AI가 엔비디아와 결별하는 것은 아니다. 자체 칩을 개발하면서도 엔비디아와의 협력을 이어가는 것이 현재의 전략이다. 결국 할라피뇨의 진정한 의미는 엔비디아를 단번에 대체하는 데 있다기보다, AI 서비스의 비용과 성능을 좌우하는 반도체를 직접 통제할 수 있는 능력을 확보했다는 데 있다.

AI가 갈수록 검색을 넘어 코딩과 업무 자동화, 각종 에이전트 작업으로 확산되는 상황에서 ‘더 똑똑한 AI’만큼이나 ‘더 싸고 빠르게 AI를 돌릴 수 있는 인프라’가 중요해지고 있다. 오픈AI의 할라피뇨는 바로 이 새로운 경쟁의 신호탄이다. 이제 AI 패권 경쟁은 모델의 두뇌에서 그 두뇌를 움직이는 반도체와 데이터센터까지 전면적으로 번지고 있다.

이규화 기자 david@dt.co.kr