오픈AI 첫 AI 추론칩 공개…전력 효율·응답 속도 엔비디아 앞서

와트당 처리량 최대 1.9배·응답 지연 최대 3.6배 앞서…연내 내부 인프라 배포 시작

(지디넷코리아=남혁우 기자)오픈AI가 자체 개발한 첫 번째 인공지능(AI) 맞춤형 추론 프로세서 '할라피뇨(Jalapeño)' 테스트 결과를 공개했다. 

비교 결과 할라피뇨는 전력 효율과 응답 속도에서 엔비디아의 GB200과 GB300 기반 시스템보다 우수한 성능을 보였다.

오픈AI는 26일 GPT-OSS 120B, 딥시크(DeepSeek) R1 670B, 키미(Kimi) K2.5 1T 등 3개 공개 모델을 대상으로 자체 테스트를 진행한 결과를 공식 홈페이지를 통해 발표했다.

오픈AI가 자체 개발한 첫 번째 인공지능(AI) 맞춤형 추론 프로세서 할라피뇨(이미지=오픈AI)

오픈AI는 세미애널리시스(SemiAnalysis)의 공개 벤치마크인 인퍼런스엑스(InferenceX)를 활용해 테스트를 진행했다. 그 결과 할라피뇨는 최대 처리량 기준으로 전력당 AI 처리량이 비교 시스템보다 1.51.9배 높았으며, 종단 간 응답 지연시간은 1.73.6배 낮았다고 밝혔다.

사용자와의 상호작용이 많은 워크로드에서는 성능 격차가 더 커졌다. 할라피뇨의 사용자당 디코딩 처리량은 비교 시스템보다 2.1~4.1배 높았다. 디코딩은 AI가 답변을 토큰 단위로 생성하는 과정으로, 사용자 입장에서는 응답 속도와 직접적으로 연결되는 지표다.

모델별로 보면 GPT-OSS 120B 테스트에서 할라피뇨의 전력당 최대 처리량은 초당 8만5448토큰으로, 엔비디아 GB200 기반 비교 시스템의 초당 4만4960토큰보다 1.9배 높았다. 종단 간 응답 지연시간은 1.03초로, 비교 시스템의 1.80초보다 짧았다.

딥시크 R1 670B 테스트에서는 할라피뇨의 전력당 처리량이 비교 시스템보다 1.7배 높았고, 종단 간 응답 지연시간은 3.6배 낮았다. 사용자당 디코딩 처리량은 초당 700토큰으로, 비교 시스템의 초당 169토큰보다 4.1배 높았다.

가장 큰 공개 모델인 키미 K2.5 1T 테스트에서도 할라피뇨는 비교 시스템보다 전력당 최대 처리량이 약 1.5배 높았고, 종단 간 응답 지연시간은 3.4배 낮았다. 사용자당 디코딩 처리량은 약 2.1배 높았다고 오픈AI는 설명했다.

키미 K2.5 1T를 활용한 할라피뇨와 GB300 성능 평가(이미지=오픈AI)

오픈AI는 단순한 칩 단위 성능보다 전력 1킬로와트당 얼마나 많은 AI 작업을 처리할 수 있는지가 실제 서비스 환경에서 더 중요한 기준이라고 강조했다. 특히 AI 에이전트는 하나의 작업을 수행하기 위해 여러 차례 추론을 연속으로 실행하기 때문에 각 단계의 지연시간이 누적될 수 있다. 전력 효율과 응답 속도를 함께 개선하면 더 빠른 응답과 안정적인 서비스 제공이 가능하다는 설명이다.

할라피뇨의 성능 향상은 프로세서 자체뿐 아니라 메모리, 네트워크, 소프트웨어, 서버 시스템을 함께 설계한 결과라고 오픈AI는 밝혔다. AI 추론은 입력된 프롬프트를 처리하는 프리필(prefill) 단계와 답변을 토큰 단위로 생성하는 디코드(decode) 단계로 나뉘는데, 두 단계의 병목이 서로 다르다.

프리필 단계에서는 연산 능력이 중요하지만, 디코드 단계에서는 메모리 대역폭과 데이터 이동이 더 큰 영향을 미친다. 오픈AI는 할라피뇨가 모델 상태와 답변 생성 과정에서 활용되는 케이브이 캐시(KV cache)를 필요한 위치에 가깝게 유지하고, 프로세서 간 데이터 이동과 통신 지연을 줄이는 방식으로 설계됐다고 설명했다.

오픈AI는 할라피뇨 개발 과정에 AI를 직접 활용했다고도 밝혔다. 초기 설계부터 테이프아웃까지 9개월 만에 진행했으며, AI를 활용해 설계안 탐색과 구현, 측정, 검증 과정을 단축했다는 설명이다. 산술 회로 최적화에도 AI를 활용해 제한된 일정 안에 더 많은 연산 성능을 구현할 수 있었다고 덧붙였다.

또한 오픈AI는 코드 생성 도구 코덱스(Codex)와 GPT-아스트라(GPT-Astra)를 활용해 당초 생산 계획에 포함되지 않았던 3개 공개 모델을 두 달 안에 높은 성능으로 구동했다고 밝혔다. GPT-OSS의 일부 어텐션과 전문가 혼합 구조 블록에서는 AI가 생성한 구현이 기존 전문가가 작성한 구현보다 1.5~1.8배 빠르게 실행됐다. 다만 이 수치는 전체 모델이 아닌 일부 블록에 해당한다고 오픈AI는 설명했다.

오픈AI는 올해 말부터 자체 컴퓨팅 인프라에 할라피뇨를 배치할 계획이다. 현재 생산 적격성 검증과 소프트웨어 고도화, 대규모 운영 준비를 진행하고 있으며 더 많은 모델을 대상으로 성능을 검증할 예정이다. 2세대 할라피뇨는 개발이 상당히 진행된 상태이며, 3세대 제품도 설계에 들어갔다고 밝혔다.

다만 오픈AI는 엔비디아와의 협력을 중단하지는 않을 방침이다. 학습과 추론 작업 모두에서 엔비디아를 비롯한 여러 파트너사의 가속기를 계속 폭넓게 활용할 계획이라고 밝혔다.

오픈AI는 "할라피뇨 발표 이후 칩과 이를 중심으로 구축한 시스템에 대한 테스트를 지속해왔다"며 "이번 결과는 유의미한 성능 진전을 보여준다. 할라피뇨는 전력 단위당 더 많은 AI 작업을 처리하면서도 더 빠르게 응답을 반환할 수 있다"고 밝혔다.

이어 "고객 입장에서는 더 빠른 응답, 더 반응성 높은 에이전트, 수요가 늘어나도 더 안정적인 접근성을 의미할 수 있다"며 "이러한 개선은 갈수록 성능이 높아지는 AI를 더 저렴하고 더 폭넓게 이용할 수 있도록 하는 데 기여할 것"이라고 말했다.

남혁우 기자(firstblood@zdnet.co.kr)