AI 모델 500개 골라 쓰고 비용 절감…KT, 토큰팩토리 출격

KT는 27일 서울 종로구 광화문 웨스트빌딩에서 기자간담회를 열고 AI 플랫폼 ‘KT 토큰팩토리’를 공개했다. 김은빈 기자

KT가 여러 인공지능(AI) 모델을 한곳에서 이용하고 비용까지 통합 관리하는 플랫폼을 선보인다. 업무에 적합한 모델을 자동으로 선택하고 AI 사용량을 줄여 기업의 운영 부담을 낮추는 것이 핵심이다. 통신사업에서 축적한 과금·보안 등 역량을 AI로 확장해 기업용 인공지능 전환(AX) 시장을 공략한다.

KT는 27일 서울 종로구 광화문 웨스트빌딩에서 기자간담회를 열고 AI 플랫폼 ‘KT 토큰팩토리’를 공개했다. 오는 30일 기업 간 거래(B2B) 시장에 우선 출시하며, 초기에는 73종의 AI 모델을 제공한다. 11월에는 글로벌 AI 모델 중개 플랫폼 오픈라우터와 연계해 제공 모델을 500개 이상으로 확대할 계획이다.

토큰팩토리는 여러 AI 모델을 하나의 응용프로그램 인터페이스(API)로 연결해 이용량과 비용을 통합 관리하는 플랫폼이다. 기업은 업무 특성에 맞는 모델을 선택하고 모델별 가격과 응답 속도 등을 비교할 수 있다. 관리자는 개발자별 API 사용 한도와 일간·월간 예산을 설정하고, 대시보드에서 모델별 처리량과 비용을 확인할 수 있다.

KT가 토큰팩토리를 선보인 배경에는 기업의 AI 도입 확대와 운영 부담이 있다. 기업이 업무에 AI를 적용하려면 새로운 모델이 나올 때마다 성능과 비용을 비교해 도입 여부를 판단해야 한다. 직원들이 개별적으로 외부 AI 서비스를 이용하면 IT 부서가 사용 현황과 정보 유출 위험을 통제하기도 어렵다. KT는 토큰팩토리를 기존 AX 구축 사업과 연계해 기업이 모델 선택부터 사용량 관리, 보안 통제까지 한곳에서 수행할 수 있도록 한다는 구상이다.

핵심 기능은 AI 모델 자동 선택 기술인 ‘오토 모델 라우터’다. 질문의 유형과 난이도, 필요한 답변 품질 등을 고려해 적합한 모델을 자동으로 연결한다. 단순 번역이나 요약에는 상대적으로 저렴한 경량 모델을, 복잡한 분석과 추론에는 고성능 모델을 활용하는 방식이다. 기업은 비용과 답변 품질 가운데 어느 쪽에 더 무게를 둘지도 설정할 수 있다.

KT의 AI 플랫폼 ‘KT 토큰팩토리’는 비용과 답변 품질 가운데 어느 쪽에 더 무게를 둘지 선택할 수 있다. 김은빈 기자

토큰 사용량을 줄여 비용을 절감하는 기술도 적용했다. AI에 입력하는 프롬프트를 압축하고 출력 토큰을 최적화해 처리 비용을 낮추는 방식이다. 김준석 KT 에이전틱 AI 연구소장은 “입력 프롬프트를 압축해 약 20%의 토큰 절감이 가능하다. 또 문제를 처리할 수 있는 가장 저렴한 모델로 라우팅함으로써 토큰 비용을 5% 낮춰 최대 25%의 토큰 사용량 절감이 가능하다”고 설명했다.

요금 관리에는 통신 서비스의 과금 체계를 참고한 ‘토큰 디테일 레코드(TDR)’를 적용했다. 기업은 모델별 토큰 사용량과 비용을 확인할 수 있으며, 선불 크레딧 또는 후불 방식으로 이용할 수 있다. 일정 기간과 사용 규모를 약정하는 엔터프라이즈 요금제에는 별도 할인과 전용망, 서비스 품질 보장 등도 추가 제공할 예정이다.

보안 기능으로는 민감정보와 유해 표현 등을 점검하는 가드레일을 내세웠다. 기업은 민감정보 필터와 금칙어를 설정하고, 허용할 모델이나 접속 IP 범위를 제한할 수 있다. KT는 국내 인프라에서 직접 운영하는 모델도 제공해 데이터 관리와 보안 요건이 중요한 기업의 수요에 대응할 방침이다. 초기 제공 모델 73종 가운데 국내 인프라에서 운영하는 소버린 모델은 7종이다.

금융권과 공공부문도 주요 공략 대상이다. 이진형 AX사업본부장은 “금융 분야는 국내 데이터센터와 그래픽처리장치(GPU)를 통한 모델 공급, 보안 요건 충족이 중요하다. 공공 분야 역시 관련 가이드라인과 규제를 준수해야 한다”라며 “KT는 국내 인프라와 공공 클라우드 환경을 기반으로 금융권에는 자체 운영 모델을 공급하고, 공공 부문에는 정부의 독자 파운데이션 모델과 검증된 오픈웨이트 모델을 함께 제공할 계획”라고 설명했다.

수익 모델은 단순한 AI 모델 중개 수수료에 그치지 않는다. 이 본부장은 “통상적으로 글로벌 중개 사업자들은 약 5%의 수수료를 받고 있다”라면서도 “하지만 토큰팩토리의 핵심 수익 모델은 중개 수수료가 아니다”라고 말했다. 이어 “토큰팩토리의 핵심 수익 모델은 자체 데이터센터의 GPU를 활용해 직접 모델을 운영하고 토큰을 공급하는 데 있다”며 “외부 모델은 통신망과 프라이빗 클라우드 등 부가서비스와 연계하고, 기업의 AX 전환 사업에도 토큰팩토리를 함께 적용할 계획”이라고 전했다.

KT는 기업용 서비스를 시작으로 이용 대상을 단계적으로 확대한다. 11월에는 글로벌 모델 연계를 통해 선택지를 넓히고, 12월에는 기능을 추가해 서비스를 고도화할 예정이다. 내년 3월에는 개인 개발자와 일반 고객에게도 서비스를 제공할 계획이다.

박상원 KT AX사업부문장은 “KT는 통신사업에서 축적한 연결·과금·보호 역량을 AI 서비스로 확장한 토큰팩토리를 기반으로 고객의 AX 전환을 지원하고 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다”고 밝혔다.

김은빈 기자 eunbeen1123@kukinews.com