토큰 소모량=일 한 양?···AI 시대, ‘토성비’ 고민하는 기업들[경제밥도둑]

경쟁력 좌우하는 ‘토큰 경제’

“토큰을 많이 쓰는만큼 일을 많이 했다는 인식이 있기 때문에 거의 하루 종일 에이전트를 돌리고 있다.” “클로드에서 토큰을 덜 쓰는 요금제를 선택해서 토큰량을 조절하고 있다.”

요즘 세계 어디에서나 인공지능(AI)을 조금이라도 사용한다는 사람들 사이에선 단연 ‘토큰’이 화두이다. 개발자나 프로그래머 등 정보기술(IT) 업계 종사자들에겐 토큰 사용량이 업무 성과나 ‘성실도’를 보여주는 객관적 지표로까지 활용되고 있다.

토큰 사용량과 그로 인한 경제적 비용은 AI 시대 경제·산업의 틀도 재편할 태세다. 글로벌 컨설팅 기업 딜로이트는 지난 1월말 펴낸 보고서 ‘AI 토큰: AI의 새로운 비용 역학을 탐색하기’에서 “AI를 예측불가능하고 토큰 기반 비용에 따라 움직이는 경제 체제로 다뤄야 한다”고 밝혔다. 젠슨 황 엔비디아 최고경영자(CEO)는 AI 데이터센터는 물론 ‘피지컬 AI’가 적용되는 제조업에서도 연산, 즉 토큰 역량이 근간이 될 것이라며 ‘AI 공장’의 출현을 예고했다. 바야흐로 ‘토큰 경제’가 기업 경쟁력을 좌우하는 시대가 된 것이다.

젠슨 황 엔비디아 최고경영자(CEO)가 3월16일 미국 새너제이에서 열린 GTC 2026에서 베라 루빈 플랫폼을 공개하고 있다. AFP연합뉴스

토큰은 AI 모델의 기본 연산 단위를 의미한다. 오픈 AI의 ‘챗GPT’, 구글의 ‘제미나이’, 앤트로픽의 ‘클로드’와 같은 거대언어모델(LLM)이 자연어를 이해하고 데이터를 처리·생성하는 데 쓰이는 최소한의 정보 조각이다. AI 모델을 실행하기 위해 필요한 일종의 ‘디지털 연료’라고 볼 수 있다.

특히 올해 초부터 토큰 사용량이 기하급수적으로 늘어나고 있다. AI 산업의 무게중심이 학습에서 추론으로 이동하고, 사용자를 대신해 업무를 수행하는 ‘에이전틱 AI’ 시대가 본격 도래한 데 따른 추세이다. AI 에이전트는 ‘생성형 AI’보다 최대 100만배 많은 토큰을 사용하는 것으로 알려져 있다. AI 에이전트가 입력해야 하는 텍스트·이미지 등 각종 데이터 량이 훨씬 많아진 데다, 실제 결과물을 내놓기 위해 필요한 출력값도 덩달아 불어났기 때문이다.

실리콘밸리에선 토큰을 최대치로 사용하는 것을 의미하는 ‘토큰맥싱’(tokenmaxxing)이 하나의 문화로 자리잡았다. 엔지니어 한 명이 일주일 동안 2000억개가 넘는 토큰을 사용했다는 식의 ‘무용담’이 공공연하게 회자된다.

메타, 오픈AI 등 빅테크들은 물론 세일즈포스 등 소프트웨어 기업들도 구성원의 토큰 사용량을 실시간으로 집계하는 ‘대시보드’를 만들었다. 직원들이 AI를 얼마나 사용하는지 순위를 매겨서 생산성 평가 척도로 활용한 것이다.

그러다보니 굳이 업무와 직접 상관이 없는데도 경쟁적으로 토큰을 소비하는 현상마저 빚어졌다. 빅테크 동향을 다루는 뉴스레터 ‘프래그머틱 엔지니어’는 대시보드를 운영한 메타, 마이크로소프트(MS)에서 직급에 상관없이 토큰맥싱이 나타났다고 전했다. MS의 한 개발자는 ‘AI를 너무 적게 사용한다’는 지적을 받지 않기 위해 AI에 이미 문서로 존재하는 코드를 물어보거나, 실제 업무와 관련이 없는 기능을 만들도록 시킨 다음 결과물은 그냥 폐기했다고 털어놨다. 업무 ‘효율화’를 위해 도입한 AI가 오히려 조직 내에서 비효율을 키우는 아이러니한 상황이 된 것이다.

메타는 결국 최근 토큰 사용량을 집계·공개하는 일을 중단했다. 메타나 MS 모두 올해 강도높은 구조조정을 예고하고 있다. 조직 전반에서 AI 활용을 늘린 다음, 결국 AI가 대체하는 일자리를 확대하려한 것 아니냐는 추측도 나올 만하다.

기업들은 물론 공공·사회 부문에서까지 ‘인공지능 전환’(AX)이 가속화하는 상황에서 토큰 사용 증대는 직접적인 비용 부담으로 작용한다. 기업·기관이 자체 AI 모델을 사용해 토큰 비용을 내재화하는 경우를 제외하면, 오픈AI나 앤트로픽, 구글 등 외부 기업에 요금을 지불해야 한다. IT 전문매체 디인포메이션에 따르면 메타 직원들의 한 달 토큰 사용량은 60조2000억개에 달했다. 앤트로픽이 부과하는 요금제를 기준으로 합산하면 무려 9억달러(약 1조3242억원)이다.

기업들 입장에선 토큰당 부가가치를 극대화하기 위한 전략이 핵심 과제로 떠올랐다. 토큰 중심 산업 재편을 강조해 온 황 CEO는 에너지 효율을 극대화해 더 많은 토큰을 생산해야 한다면서 “와트당 토큰, 달러당 토큰이 기업 의사결정의 기준이 되어야 한다”고 강조하고 있다. 엔비디아가 추론용 칩 ‘그록 3 LPU’ 등을 개발한 것도 토큰 비용을 최적화하려는 행보의 일환이다. 황 CEO는 지난달 연례 개발자 회의 ‘GTC 2026’에서 그록 칩을 빌소한 새 베라 루빈 플랫폼을 선보이면서 “우리의 토큰당 비용은 세계에서 가장 저렴하다. 이보다 더 나은 것은 없다(You can’t beat it)”고 말했따.

스타트업이나 중소기업들은 ‘토성비’(토큰+가성비) 확보에 매달리고 있다. 작업 수준에 따라 고성능 모델과 상대적으로 저렴한 모델을 혼용하는 흐름이 대표적이다. 한 국내 IT 업계 직원은 “중소기업들은 토큰 소비가 늘어나는 데 따른 지출 부담을 고려해 토큰 사용량 상한이 있는 요금제를 채택하거나, 보다 저렴한 AI 모델을 사용하도록 권장하는 경우가 많다”고 전했다.

김유진 기자 yjkim@kyunghyang.com