비드래프트, LLM 추론 가속 엔진 ‘VKAE’ 리더보드·통합 컨테이너 공개

AI 전문기업 비드래프트(대표 김민식)는 자체 개발한 대규모 언어모델(LLM) 추론 가속 엔진 ‘VKAE(VIDRAFT Kernel Acceleration Engine)’의 성능 리더보드를 공개하고, 모델 가중치와 최적화된 서빙 환경을 하나로 묶은 통합 Docker 컨테이너를 배포한다고 밝혔다.

VKAE는 동일 GPU 하드웨어와 동일 조건에서 표준 서빙 대비 최대 23.4배 높은 추론 처리량을 기록한 커널 레벨 추론 가속 엔진이다. 모델의 출력 품질은 유지하면서도 처리량과 응답 속도를 크게 높이는 것이 특징이다.

사용자는 복잡한 설치 과정 없이 공개된 컨테이너를 실행해 자신의 GPU 환경에서 VKAE의 성능을 직접 재현하고 검증할 수 있다. 또한 OpenAI 호환 API를 지원해 기존 애플리케이션과 서비스에도 빠르게 연결할 수 있다.

사진 제공= 비드래프트

비드래프트 자체 실측 결과, 엔비디아 B200 GPU와 FP8 환경에서 대표 모델 Qwen3.5-35B-A3B는 단일 스트림 기준 초당 최대 601토큰을 생성했으며, 다중 요청 처리에서는 초당 1만 토큰 이상의 처리량을 기록했다. 이는 동일 조건의 표준 서빙 대비 최대 23.4배 높은 성능이다.

초대형 모델인 JGOS-398B에도 동일 계열의 최적화 기법이 적용됐다. VKAE의 구체적인 커널 내부 구현 방식은 비드래프트의 핵심 영업기밀로 공개하지 않지만, 리더보드와 통합 컨테이너를 통해 외부 사용자가 직접 성능을 확인할 수 있도록 했다.

비드래프트는 이번 공개의 핵심 의의로 네 가지를 제시했다. 첫째, 사용자가 자신의 하드웨어에서 직접 수치를 재현할 수 있는 투명한 검증이다. 둘째, 동일 GPU에서 처리량을 높여 토큰당 서빙 비용을 낮추는 비용 절감이다. 셋째, 속도 향상 과정에서도 모델 품질을 보존하는 안정성이다. 넷째, OpenAI 호환 API 기반으로 기존 서비스에 바로 붙일 수 있는 즉시 통합성이다.

VKAE는 엔비디아 블랙웰(B200) 및 호퍼(H100·H200) 계열 GPU를 중심으로 지원되며, A10G small 등 다양한 GPU 환경에서도 활용 가능하도록 지원 범위를 확대하고 있다.

이번 VKAE 공개는 비드래프트가 추진해 온 추론 계층 최적화 전략의 연장선에 있다. 비드래프트는 AI의 메타인지 능력을 측정하는 FINAL Bench, 환각을 줄이는 런타임 미들웨어 MARL, Darwin·Chimera·Aether 등 자체 모델 패밀리를 공개하며 모델 개발, 평가, 신뢰성, 서빙 최적화를 아우르는 풀스택 AI 역량을 축적해 왔다.

김민식 비드래프트 대표는 “재현할 수 없는 속도 경쟁은 의미가 없다”며 “VKAE는 리더보드와 컨테이너를 함께 공개해 사용자가 자신의 하드웨어에서 직접 검증할 수 있게 한 것이 핵심”이라고 말했다.

이어 “비드래프트는 단순히 더 큰 모델을 만드는 데 그치지 않고, 초거대 모델을 더 빠르고 저렴하게 운영할 수 있는 인프라 기술까지 함께 개발하고 있다”며 “VKAE는 모델 개발에서 서빙 최적화까지 이어지는 비드래프트 풀스택 AI 전략의 중요한 축”이라고 밝혔다.

비드래프트는 2030년 이내 True-AGI 달성을 목표로 2024년 설립된 서울 AI허브 입주 스타트업이다. 한국어 특화 LLM, 과학추론 모델, 추론 가속 인프라, 신약·소재·오피스 등 도메인 특화 AI 응용을 개발하고 있으며, 자체 모델과 인프라를 기반으로 글로벌 AI 시장 진출을 추진하고 있다.

박영서 기자 pys@dt.co.kr