“AI 모델 500여종을 한 곳서 이용”… KT, ‘토큰팩토리’로 기업 AX 공략

AI 선택·비용 관리 등 통합 제공
“토큰 사용량 최대 25% 절감”

KT가 국내외 500여개의 인공지능(AI) 모델을 한 곳에서 골라쓰고 비용 관리, 결제까지 통합해 제공하는 AI 플랫폼 ‘KT 토큰팩토리’를 공개했다. 토큰팩토리를 전면에 내세워 기업 인공지능 전환(AX) 시장 공략에 본격적으로 나서는 것이다. 업무 난이도에 맞춰 최적의 AI 모델을 자동으로 연결하고 사용량에 따라 요금을 매기는 기능 등을 결합해 기업의 AI 도입 문턱을 낮춘다는 전략이다.

KT는 27일 서울 종로구 광화문웨스트 빌딩에서 기자간담회를 열고 AI 모델 선택과 비용 관리, 보안 기능을 하나로 묶은 토큰팩토리를 오는 30일 출시한다고 밝혔다. AI가 질문과 문서를 처리하는 기본 단위인 토큰은 입력량과 출력량의 합으로 계산돼 사용량이 곧 비용으로 직결된다. 글로벌 AI 중계 플랫폼 오픈라우터에 따르면 최근 1년간 전 세계 토큰 소비량은 약 35배 폭증했다.

그동안 기업 현장에선 부서별로 여러 AI 모델을 개별 구독해 비용이 새고 통합 관리가 어렵다는 고민이 컸다. 토큰팩토리는 모델마다 따로 가입할 필요 없이 단일 응용프로그램인터페이스(API) 하나로 다양한 모델을 연결하고 사용량 확인부터 원화 결제까지 한곳에서 처리한다. 출시 초기에는 국내 데이터센터의 그래픽처리장치(GPU)로 직접 구동하는 소버린 모델 7종과 글로벌 모델 66종을 합쳐 73종을 우선 제공한다. 다음 달에는 오픈라우터와의 국내 첫 공식 파트너십을 통해 제공 모델을 500개 이상으로 늘리고, 국내 AI 모델을 오픈라우터에 등록해 해외에 유통하는 사업도 추진할 계획이다.

핵심 경쟁력은 비용 절감 기술이다. 질문 난이도와 품질·비용 가중치를 분석해 단순 요약에는 경량 모델을, 복잡한 추론에는 고성능 모델을 자동 배정하는 ‘오토 모델 라우터’를 적용했다. 이 기술은 글로벌 벤치마크 ‘라우터아레나’에서 종합 1위를 차지했다. 여기에 한국어 특성에 맞춰 불필요한 반복 표현을 덜어내는 프롬프트 압축 기술을 더해 토큰 사용량을 최대 25%까지 줄였다는 게 KT 설명이다. 김준석 KT AX미래기술원 에이전틱AI랩장은 “입력 프롬프트에서 불필요한 내용을 삭제해 입력 토큰 수를 약 20% 줄이고 가장 저렴한 적정 모델로 라우팅해 5%를 추가 절감하는 구조”라고 설명했다.

통신사의 과금·보안 노하우도 이식했다. 통화기록으로 요금을 매기듯 ‘토큰상세기록(TDR)’ 기반의 정밀 과금체계를 구축해 기업 통신요금과 통합 청구하는 방식이다. 요금제는 사용량만큼 내는 스탠더드와 약정할인·전용망을 제공하는 엔터프라이즈 2종이며 내년 3월에는 개인과 개발자 대상 구독형 요금제도 내놓을 예정이다.

박상원 KT AX사업부문장 전무는 “통신에서 축적한 연결·과금·보호 역량을 AI 서비스로 확장한 토큰팩토리를 기반으로 고객의 AX 전환을 지원하고 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다”고 말했다.
조승현 기자 chosh@kmib.co.kr