입력보다 6배 비싼 출력…토큰 과금으로 수익화 나선 실리콘밸리

■AI 거품 우려 토큰으로 대반전
젠슨 황 “연봉 절반 토큰 구입에 써야”
엔비디아 ‘GPU 수요 창출’ 전략적 메시지
오픈AI·앤스로픽도 토큰제 모델 전환
제한된 전력으로 더 많은 생산이 핵심
AI칩 성능 경쟁서 토큰 효율 전쟁으로
“소비자에 요금 부담 전가”…비판 여론도

“연 50만 달러(약 7억 4400만 원)의 연봉을 받는 엔지니어가 있다고 칩시다. 만약 연말에 25만 달러 이상을 토큰에 쓰지 않았다면 매우 걱정하게 될 겁니다.”

젠슨 황 엔비디아 최고경영자(CEO)가 3월 연례 최대 기술 콘퍼런스인 ‘GTC 2026’ 행사 마지막 날 한 팟캐스트에 출연해 한 말이다. 그는 “인공지능(AI)을 쓰지 않는 것은 칩 설계에 종이와 연필을 사용하는 것과 같다”면서 유능한 엔지니어라면 연봉의 절반은 토큰 구입에 써야 한다고 강조했다. 그는 자사 모든 엔지니어에게 기본 급여 외에 연간 ‘토큰 예산’을 지급하자고 제안했다.

업계에서는 황 CEO의 발언이 토큰 소비의 중요성을 내다본 혜안인 동시에 엔비디아의 그래픽처리장치(GPU) 수요를 키우기 위한 전략적 메시지라는 시각이 적지 않다. 토큰 소비가 늘어날수록 이를 처리하는 GPU 수요가 증가하고 결국 엔비디아 매출로 이어지는 구조이기 때문이다.

미국 실리콘밸리에서는 토큰 사용량 순위로 개발자 능력을 평가하는 분위기가 확산하고 있다. 메타는 토큰 사용 상위 250명을 수시로 공개하면서 내부 경쟁을 부추기고 있다. 디인포메이션에 따르면 메타가 명명한 사내 토큰 사용 순위표 ‘클로디오노믹스’ 상위권을 차지한 직원에겐 ‘토큰 레전드’나 ‘세션 불멸자’ 같은 칭호도 붙는다. 토큰으로 환산되는 AI 도구를 많이 써야 생산성이 올라가고 소비량에 따라 개발자 역량, 기업가치, 경제 규모가 좌우되는 시대에 진입하고 있는 것이다.

토큰은 대규모언어모델(LLM)과 같은 AI 모델이 학습과 추론 과정에서 처리하는 최소 데이터 단위다. 컴퓨터가 0과 1의 이진법으로 글자를 저장하듯 AI가 정보를 글자나 문장부호로 쪼갠 뒤 토큰으로 인식한다. AI가 입력된 명령을 이해할 때 생성되는 토큰이 입력 토큰, 명령에 응답하면서 생성되는 토큰이 출력 토큰이다. AI 에이전트로 추론이 이뤄질 때는 작업 단위당 토큰 수천 개가 들어간다.

토큰 생태계는 크게 하드웨어·인프라·모델 3단계로 이뤄져 있다. 엔비디아와 같은 하드웨어 기업이 블랙웰 등 그래픽처리장치(GPU)를 만들어 구글과 같은 클라우드 기업에 판다. 구글이나 아마존 마이크로소프트 등 인프라를 맡은 클라우드 기업은 엔비디아 GPU는 물론 더 싼 자체 칩을 만들어 클라우드를 운영하는 동시에 제미나이와 같은 LLM을 만들어 서비스호출방식(API)으로 AI 모델 회사에 빌려준다. 앤스로픽이나 오픈AI와 같은 AI 모델 회사는 클라우드 기업에서 인프라를 빌려 AI 모델을 만들어 일반 기업이나 개인에게 API로 판매한다. 이 과정에서 추론양에 따른 과금을 하기 위해 쓰는 단위가 토큰이다. 엔비디아(하드웨어)가 고성능 GPU로 토큰 생산 비용을 줄이면 인프라를 맡는 구글이나 모델을 운영하는 앤스로픽이 더 낮은 가격을 고객에게 제시할 수 있는 셈이다.

빅테크 기업들은 사내뿐만 아니라 고객사를 향해서도 토큰 사용이 곧 기업 경쟁력이라고 강조하고 있다. 엔비디아는 자사 블로그에서 “토큰당 비용은 기업이 AI를 수익성 있게 확장할 수 있는지 여부를 결정하는 중요한 요소”라며 “엔비디아는 업계 최저 수준의 토큰당 비용을 제공한다”고 강조했다.

생태계의 앞단에 있는 AI 모델 운영사들은 무료 사용이나 정액제를 줄이고 ‘토큰 과금’을 빠르게 전파하고 있다. 오픈AI와 앤스로픽 등 주요 기업들은 실제 사용량에 비례한 토큰 단위 과금으로 수익 모델을 구축하고 있다. 입력과 출력 과정에서 모두 과금하고 있다. 현재 오픈AI 기준으로 입력 토큰은 100만 개당 2.5달러인 반면 출력 토큰은 100만 개당 15달러로 6배 비싸다. AI가 답변을 생성하는 과정이 질문을 읽는 것보다 훨씬 많은 연산을 필요로 하기 때문이다.

특히 엔비디아의 블랙웰 같은 고성능 칩은 그 자체로 비싸지만 더 많은 토큰을 싸게 생산한다. 예를 들어 아마존이나 구글·마이크로소프트(MS)와 같은 클라우드 기업이 블랙웰을 사용하면 엔비디아의 H200보다 렌털비가 2배 비싸지만 토큰 하나를 생산하는 비용은 35분의 1로 줄어든다. 결과적으로 클라우드 기업은 더 낮은 가격으로 API를 일반 기업 고객에게 제공할 수 있다. 엔비디아의 고성능 칩이 아마존의 토큰 생산비를 절감시켜 아마존은 물론 아마존 고객까지 경쟁력을 높인다는 논리다.

특히 기업공개(IPO)를 앞둔 AI 기업들은 그동안 불었던 AI 거품 논란을 불식하기 위해 수익화에 집중하고 있다.

앤스로픽은 기업용 제품인 ‘클로드 엔터프라이즈’를 정액제 요금제에서 토큰 기반 요금제로 모델을 전환하며 추가 사용량에 대해 별도 비용을 받겠다고 선언했다. 사용자를 열광시킨 클로드코드를 저렴한 정액제 소액 서비스에서 제외시키기도 했다.

오픈AI도 이달 초 AI 코딩 에이전트 코덱스에 API 토큰 사용량 기반 요금제를 도입했다. 또한 GPT-5.5 표준 플래그십 이용료를 2배 올렸다.

상장을 추진하지는 않지만 개발자 최대 플랫폼인 깃허브는 AI 코딩 도구 ‘코파일럿’ 이용자에게 기본 구독료 외에 추가 요금을 부과하기로 했다.

그러나 토큰 효율화를 앞세운 수요 자극이 소비자 부담을 가중시킨다는 비판도 나온다. 토큰 단가는 내려가더라도 에이전트형 AI 확산으로 사용량이 폭증하면서 실질적인 AI 지출은 오히려 늘고 있기 때문이다. 오픈AI가 토큰당 가격을 2배 인상하고, 앤스로픽이 정액제 서비스에서 코딩 도구를 제외한 것에도 소비자들의 비판이 쏟아지고 있다.

특히 토큰 사용량 기준으로 한 요금제는 기업들의 비용 관리를 어렵게 하는 단점이 있다. 미국 기업 지출 관리 플랫폼인 램프(Ramp)는 “이제 AI는 기업 지출 분류 중 가장 빠르게 성장하면서도 동시에 가장 관리되지 않는 영역이 됐다”면서 “계정당 과금 요금제에서 변동성이 큰 토큰 기반 요금제로 전환되면서 재무팀이 지출을 제대로 파악하지 못하는 사각지대가 생겨났다”고 분석했다.

실리콘밸리=김창영 특파원 kcy@sedaily.com박민주 기자 mj@sedaily.com