AI 성능 넘어 '토큰 비용' 경쟁 … 클라우드 시장 판 바뀐다

AI 경쟁축 '인프라'로 이동
토큰 단가가 AI 경쟁력 좌우
빅테크, 전력·설비 투자 확대
AI 특화 네오클라우드 부상
GPU 기반으로 연산 최적화
범용 클라우드대비 효율 우위
2031년 4000억弗 시장 전망

게티이미지뱅크

인공지능(AI) 경쟁 기준이 바뀌고 있다. 몇 년 전까지만 해도 더 큰 모델, 더 높은 정확도, 더 뛰어난 추론 능력이 핵심 경쟁력이었다. 하지만 지금 시장의 질문은 완전히 달라졌다. 이제 중요한 것은 '어떤 모델을 만들 것인가'가 아니라 '모델을 얼마나 효율적으로 운영할 수 있는가'로 바뀌었다.

이 같은 변화는 최근 젠슨 황 엔비디아 최고경영자(CEO)가 강조한 'AI 팩토리' 개념에서 선명하게 드러난다. 그는 AI 팩토리를 '전력을 투입하면 지능을 생산하는 공장'으로 정의하며 '토큰(Token)'을 생산 단위로 제시했다. 텍스트, 이미지, 코드, 나아가 에이전틱 AI의 실행까지 모든 것은 결국 토큰을 생성하고 소비하는 과정으로 환원된다. 이른바 '토큰 경제(Token Economy)'다.

토큰 경제에서 핵심은 모델 성능이 아니다. 토큰당 비용과 전력 대비 토큰 생산량이 경쟁력을 좌우한다. 데이터센터에서 소비된 전력은 토큰을 만들어내고, 이는 곧 서비스 이용량과 매출로 이어진다. 결국 AI 기업 경쟁력은 얼마나 효율적으로 전력을 토큰으로 전환하느냐에 달려 있다.

토큰 중심 비용 구조는 AI 활용 방식을 빠르게 바꾸고 있다. 광고와 마케팅 분야에서는 상품 정보만 입력하면 AI가 콘텐츠 생성부터 타깃 설정, 배포까지 자동으로 수행하는 구조가 확산되고 있다. 수개월이 걸리던 작업이 몇 분으로 단축되면서 비용 구조 역시 근본적으로 재편되고 있다. 일부 기업에서는 수십억 원이었던 콘텐츠 제작 비용이 10분의 1 수준으로 줄어든 사례도 나타났다. AI는 단순한 생산성 도구를 넘어 '생산 시스템'으로 작동하기 시작했다.

현재 AI 서비스의 100만토큰당 가격은 저가형 모델의 경우 1달러 이하까지 내려온 반면, 고급형 모델은 수 달러에서 수십 달러 수준에 형성돼 있다. 업계에서는 추론 단가가 낮아질수록 활용 범위가 빠르게 확대될 것으로 보고 있다. 비용이 일정 수준 이하로 내려가면 사용량이 급증하고, AI는 특정 서비스 기술의 외연을 넘어 산업 전반에 깔리는 인프라스트럭처로 확장될 가능성이 크다. 이는 인터넷 트래픽·클라우드 비용 하락이 시장 성장을 촉발했던 흐름과 유사하다. 토큰당 비용은 AI 산업의 '단가'로서 핵심 경쟁 지표로 부상하고 있다.

비용과 효율이 경쟁 중심으로 이동하면서 이를 구현하는 인프라의 중요성도 커지고 있다. 동시에 물리적 한계 역시 빠르게 드러나고 있다. 그래픽처리장치(GPU)의 전력 밀도 증가는 데이터센터 구조를 근본적으로 바꾸고 있다. 엔비디아에 따르면 최신 AI 시스템은 서버 수십 대를 묶은 랙 단위에서 이미 100㎾(킬로와트)를 웃도는 전력을 요구하고 있으며, 향후에는 ㎿(메가와트)급 전력까지 필요할 것으로 전망된다. 기존 공랭식 중심 데이터센터만으로는 대응하기 어려운 수준이다.

이 같은 흐름은 AI 인프라를 단순한 정보기술(IT) 설비가 아니라 '전력을 지능으로 바꾸는 생산 설비'로 재정의하고 있다. 글로벌 빅테크 기업들이 재생에너지 확보와 전력 인프라 투자에 적극적으로 나서는 이유가 여기에 있다. AI 경쟁은 반도체를 넘어 전력을 얼마나 안정적으로 확보하고 효율적으로 활용하느냐의 문제로 확장되고 있다.

AI 중심축이 학습에서 추론으로 이동하고 있다는 점도 중요하다. 생성형 AI를 넘어 추론 AI, 에이전틱 AI로 발전하면서 컴퓨팅 수요는 빠르게 증가하고 있다. 특히 추론은 지속적으로 발생하는 비용이기 때문에 기업 입장에서는 성능보다 효율과 비용 구조가 더 중요한 판단 기준이 된다.

이러한 변화 속에서 등장한 것이 '네오클라우드(Neocloud)'다. 네오클라우드는 기존 퍼블릭 클라우드를 대체하기보다 한계를 보완하는 AI 특화 인프라다. GPU를 대량으로 확보해 기업들이 별도 인프라 구축 없이도 AI 학습과 추론을 수행할 수 있도록 지원하는 구조다. AI 연산에 최적화된 환경을 제공한다는 점에서 차별화된다.

실제 글로벌 시장에서는 코어위브, 람다랩스, 네비우스를 비롯한 네오클라우드 기업들이 빠르게 성장하고 있다. 이들은 엔비디아 GPU를 기반으로 한 AI 연산 인프라를 제공하며 메타, 마이크로소프트(MS) 등 빅테크를 주요 고객으로 확보하고 있다. 시장조사 업체 시너지리서치에 따르면 네오클라우드 시장은 지난해 230억달러에서 2030년 1800억달러, 2031년 4000억달러 규모로 급성장할 전망이다. AI 수요 급증과 GPU 공급 부족이 맞물리면서 연산 인프라를 빌려 쓰는 시장이 빠르게 확대되고 있는 것이다.

다만 막대한 자본 투자는 변수다. 네오클라우드는 반도체, 전력, 냉각, 네트워크 등 인프라를 구축하는 데 막대한 비용이 들어가는 사업이다. 일부 기업은 매출이 증가하는 동시에 운영 비용도 크게 늘어나며 수익성이 악화되는 모습을 보이고 있다. 인프라 경쟁이 확대될수록 성장성과 수익성 간 균형이 중요한 과제로 부상할 것으로 보인다.

[김대기 기자]