카페24, 'LLM 라우터'에 텐센트 '토큰허브' 연동…AI 인프라 선택 폭 확대

글로벌 전자상거래 플랫폼 '카페24(대표 이재석)'는 자사 AI 모델 통합 운용 인프라 서비스 'LLM 라우터(LLM Router)'에 텐센트 클라우드의 LLM 서비스 플랫폼 '토큰허브(TokenHub)'를 연동했다고 밝혔다. 이번 연동으로 카페24는 LLM 라우터 이용자에게 폭넓은 AI 인프라 선택권과 안정적인 모델 운용 환경을 제공할 수 있게 됐다.

텐센트 클라우드 토큰허브는 다양한 LLM을 단일 접점에서 제공하는 AI 모델 공급 인프라다. 주요 AI 모델을 표준화된 OpenAI 호환 API 방식으로 제공해 기업과 개발자가 복잡한 개별 연동 과정 없이 다양한 모델에 접근할 수 있도록 지원한다.

LLM 라우터 이용자는 관리 화면에서 텐센트 클라우드 토큰허브를 AI 모델 공급 인프라로 선택해 토큰허브가 공급하는 모델을 사용할 수 있다. 필요에 따라 토큰허브 경로를 직접 선택하거나, 기존 경로에 장애가 발생하면 자동으로 토큰허브 경로로 전환되도록 설정할 수 있다.

카페24 LLM 라우터는 주요 AI 모델 220여 개를 하나의 플랫폼으로 연결하고, 사용자의 요청에 맞는 모델 선택·분배·전환을 지원하는 AI 통합 운용 인프라다.

LLM 라우터는 크게 '오토 라우터'와 '프로바이더 지정 라우팅' 두 가지 방식을 지원한다. '오토 라우터'는 사용자의 요청 내용을 분석해 코딩, 추론, 번역, 창작 등 작업 유형에 적합한 AI 모델을 자동 연결한다. 사용할 모델 범위를 미리 지정하면 해당 범위 안에서 자동으로 모델을 선택하며, GPT·클로드(Claude)·제미나이(Gemini)·딥시크(DeepSeek)·키미(Kimi) 등 220여 개 AI 모델을 하나의 API로 이용할 수 있다.

'프로바이더 지정 라우팅'은 이번에 추가된 텐센트 클라우드 토큰허브와 같은 AI 모델 공급 인프라를 선택하는 방식이다. 동일한 AI 모델을 제공하는 여러 공급 인프라 가운데 비용, 응답 속도, 처리량 등 사용자가 설정한 기준에 따라 적합한 경로를 선택할 수 있다.

특정 프로바이더가 응답하지 않을 경우에는 동일 모델을 제공하는 다른 프로바이더로 요청을 자동 전환할 수 있다. 이를 통해 특정 모델이나 공급 인프라의 장애 상황에서도 서비스 연속성을 유지할 수 있도록 지원한다.

AI 모델 이용 현황과 비용은 '실시간 대시보드(Realtime Dashboard)'에서 확인할 수 있다. 요청 수, 비용, 토큰 사용량, 모델별 비용 비중, 성공·실패 비율 등을 한 화면에서 제공하며, 팀·프로젝트·환경별 사용량과 요청 단위 상세 기록도 관리할 수 있다.

카페24는 앞으로도 신규 AI 모델과 AI 모델 공급 인프라 지원 범위를 지속 확대하고, 이용자가 다양한 AI를 목적과 운영 환경에 맞춰 안정적으로 활용할 수 있도록 LLM 라우터 기능을 고도화할 계획이다.

카페24 관계자는 "생성형 AI 활용이 확대되면서 모델 자체의 성능뿐 아니라 어떤 환경에서 안정적으로 운용할 것인지도 중요한 요소가 되고 있다"며 "앞으로도 다양한 AI 모델과 공급 인프라를 하나의 환경에서 효율적으로 활용할 수 있도록 LLM 라우터의 선택 폭과 운영 편의성을 지속 확대하겠다"고 말했다.

김혜인 기자 hyein51@hankyung.com