AI 많이 쓰기보다 잘 쓰기… ‘토크노믹스’ 뜬다

테크 업계 ‘AI 사용 효율화’ 나서

법률 서비스에 인공지능(AI)을 결합한 한 리걸AI 스타트업의 최고운영책임자(COO) A씨는 매일 출근하자마자 개발자들의 전날 토큰 사용량부터 확인한다. 클로드 코드나 챗GPT 코덱스 같은 코딩 생성 AI는 사용량에 따라 비용이 부과되기 때문이다. 토큰을 과도하게 사용한 개발자는 따로 불러 사용 목적을 확인한다. A씨는 “토큰 비용이 걷잡을 수 없이 늘어나는 것을 막고, AI를 알맞은 곳에 사용했는지 점검한다”고 말했다.

AI 에이전트 활용이 늘면서 추론 비용이 급증하자 토큰 사용량을 통제하고 업무 목적에 따라 적절한 AI를 배정하는 ‘AI 사용 효율화’가 테크 업계 트렌드로 떠오르고 있다. 토큰은 AI가 글을 읽고 생성할 때 처리하는 최소 텍스트 단위로, 보통 100만 토큰당 가격이 책정된다. 이같이 업무에 맞는 AI 모델을 선택해 비용 대비 효율을 높이는 것을 가리켜 ‘토크노믹스(Tokenomics)’라는 말까지 나왔다. 기업들은 개발자들에게 최대한 많은 AI 사용을 장려하던 정책을 철회하고 첨단 AI와 그보다 성능이 떨어지는 AI를 적절히 섞어 쓰는 전략을 검토 중이다.

◇토큰맥싱에서 후퇴

작년부터 실리콘밸리에서는 최강 AI를 활용해 토큰 사용량을 늘리는 ‘토큰맥싱(tokenmaxxing)’이 유행했다. 메타와 아마존은 개발자들의 AI 활용을 적극 독려했고, 일부 기업에서는 토큰 소비 순위표까지 등장했다. 하지만 AI 사용 비용이 예상보다 빠르게 증가하면서 실효성을 둘러싼 논란이 커졌다. 샘 올트먼 오픈AI 최고경영자(CEO)도 최근 “AI 사용 비용이 기업 경영진에게 엄청난 문제”라고 언급했다.

AI 모델 성능 향상으로 토큰 단가는 계속 낮아지고 있지만 사용량 증가 속도가 이를 압도하고 있다. 리눅스 재단에 따르면 최근 3년 동안 토큰 가격은 98% 하락했지만 기업들의 AI 관련 비용은 320% 증가했다. 우버는 엔지니어 5000여 명에게 클로드 코드를 전면 배포했다가 1년 치 코딩 예산을 4개월 만에 소진했다.

비용 부담이 커지자 테크 기업들은 토큰 사용 장려 정책을 속속 철회하고 있다. 메타와 아마존은 관련 정책을 폐지했고, 마이크로소프트도 일부 부서의 클로드 코드 라이선스를 종료하기로 했다. 국내에서도 안랩이 깃허브 코파일럿 사용량을 제한했고, 넷마블 역시 직책과 팀별로 AI 사용 한도를 설정했다.

AI 서비스를 제공하는 업체들도 무제한 구독 방식에서 종량제로 전환하는 추세다. 앤스로픽은 최근 최상위 모델보다 상위 등급인 페이블5를 출시하며 100만 토큰당 입력 10달러, 출력 50달러의 종량제 요금을 적용했다. 이는 기존 오퍼스 4.8 모델의 두 배다. 마이크로소프트의 깃허브 코파일럿도 무제한 사용을 없애고 종량제로 전환했다.

◇프런티어 AI와 일상 AI 이분화

이 같은 흐름 속에 기업들은 최고 성능 AI만 쓰기보다 업무 난이도에 따라 AI를 구분해 사용하는 전략에 주목하고 있다. 단순 질의응답이나 문서 작업에는 저렴한 모델을 쓰고, 복잡한 추론이나 고난도 업무에만 최고 성능 모델을 투입하는 방식이다.

업계에서는 앞으로 AI 활용이 두 갈래로 나뉠 가능성이 크다고 본다. 최첨단 ‘프런티어 AI’는 비용을 감당할 수 있는 일부 기업과 특정 업무에 집중되고, 대다수 기업과 이용자는 비용이 저렴한 일상형 AI를 활용하는 구조다. 시타델증권은 최근 보고서에서 “프런티어 AI는 비용을 감당할 재무제표와 연구 역량, 응용처를 갖춘 좁은 기업군에 집중되고 나머지는 단순한 AI 모델을 쓰는 ‘AI의 이분화’가 벌어질 것”이라고 했다.