AI 토큰값 ‘다이어트 경쟁’…쏟아지는 기업용 솔루션 [스타트업 스트리트]

질의별 최적 모델 자동으로 배분
예산 초과시 AI 호출 사전 차단도
제조·금융·공공 등 러브콜 잇따라

인공지능(AI) 스타트업들이 AI 토큰 비용을 줄여주는 서비스를 잇따라 선보이며 기업 간 거래(B2B) 시장을 공략하고 있다. 기업의 AI 전환(AX)이 확산하면서 대규모언어모델(LLM)과 AI 에이전트 활용량이 크게 늘자 관련 예산을 효율적으로 운용하려는 기업 수요가 커졌기 때문이다.

16일 벤처 업계에 따르면 라이너는 전날 AI 오케스트레이션 솔루션 ‘라이너 모델 API’를 출시했다. 코딩·수학·복합 추론 등 어려운 질의는 고성능 프런티어 모델로 보내고 일반 질의는 상대적으로 저렴한 경량 모델로 처리해 토큰 비용을 줄이는 방식이다.

라이너 모델 API는 당초 회사가 B2C AI 서비스 운영 과정에서의 비용 절감을 위해 내부적으로 개발한 기술을 상품화한 사례다. 회사에 따르면 서비스 데이터 분석 결과 전체 질의 가운데 고성능 모델이 반드시 필요한 경우는 약 43%에 그쳤다. 이에 질의별 최적 모델 배분을 통해 모든 질의를 프런티어 모델로 처리할 때보다 토큰 비용을 절반 이상 줄이면서도 프런티어급 성능을 유지할 수 있다는 설명이다.

라이너 관계자는 “애초에 ‘우리가 구매하려고’ 만든 기술인 만큼 예산이 빠듯한 B2C AI 서비스 기업 전반에서 수요가 클 것으로 기대한다”고 말했다. 라이너는 현재 플랜핏·바카티오 등 스타트업 3곳을 대상으로 테스트를 진행하고 있으며 이를 레퍼런스로 삼아 고객사를 늘릴 계획이다.

김진우 라이너 대표는 “API 서비스를 필두로 B2B 영역에서 새로운 성장 동력을 본격적으로 확보해 나가겠다”며 “연내 B2B 매출 비중도 최대 20%까지 끌어올려 더욱 균형 잡힌 수익 구조를 완성하는 것이 목표”라고 말했다.

뤼튼테크놀로지스도 기업용 ‘뤼튼AX LLM 라우터’로 토큰 비용 절감에 나섰다. 뤼튼의 사내독립기업(CIC) ‘뤼튼AX’가 7월 출시한 이 서비스는 사용 목적과 비용·성능 우선순위에 따라 적합한 LLM을 자동으로 선택한다. 뤼튼은 같은 달 국제 해킹대회 ‘데프콘 34 CTF’ 본선 진출팀 ‘콜드퓨전’에 제품 크레딧을 지원하며 활용 사례를 확보하기도 했다.

박민준 뤼튼AX 대표는 “실제 도입 시 고객사의 온프레미스 또는 프라이빗 클라우드 환경에 라우터 기능을 함께 구축하는 방식으로 운영하고 있다”며 “제조·공공·금융 등 다양한 분야에서 수요를 확인했다”고 설명했다.

기업의 토큰 지출 자체를 사전 통제하는 스타트업도 있다. 데이터 파운드리 기업 바운드포는 지난달 AI 데이터 운영 플랫폼 ‘드로파이’에 토큰 지출 관리 서비스 ‘파레토’를 추가했다. 관리자가 정한 예산을 넘는 AI API 요청을 실행 전에 차단하고 팀별 사용량과 예상 지출을 실시간으로 보여준다. 반복·중복 호출이나 불필요한 고성능 모델 사용 등 비용이 새는 지점도 찾아준다.

황인호 바운드포 대표는 “AI를 도입하는 것과 별개로 추후 비용을 점검하고 통제하는 체계를 직접 만드는 데에도 인력과 시간이 필요하다”며 “이에 자체 개발 인력이 부족한 비IT 기업을 겨냥해 AX 부담을 줄이는 것이 목표”라고 전했다.

장형임 기자 jang@sedaily.com