AI 추론 비용, 갈수록 싸진다...분기마다 47% 하락해

/제미나이 생성

인공지능(AI) 경쟁이 가열되면서 AI를 가동하기 위한 인프라 투자는 기하급수적으로 늘고 있지만, AI가 직접 연산할 때 드는 추론 비용은 빠르게 하락하고 있다.

4일 비영리 연구기관 에포크AI에 따르면, 2023년 이후 동일한 수준의 AI 성능을 구현하는 데 드는 비용이 분기마다 약 47%씩 하락한 것으로 집계됐다. AI가 같은 수준의 문제를 풀고 답을 도출하는 데 드는 ‘추론 비용’이 1년마다 13분의 1 수준으로 떨어진다는 것이다. 2050년까지 전 세계 데이터센터 누적 지출액이 미국 국채 발행액과 맞먹는 30조달러(약 4경470조원)를 넘어설 것으로 전망(PwC)되는 것에 반해, AI 직접 연산 비용은 크게 낮아지는 현상이 가속화되는 것이다.

에포크AI는 “이러한 비용 하락세가 인류 산업사에서 찾아보기 힘든 기록적인 속도”라고 했다. 물가 상승률을 감안해도 AI 추론 비용 하락 속도는 DNA 분석 기술보다 4배, 컴퓨터 연산력 발전보다 6배, 리튬이온 배터리보다 18배 빠른 것으로 집계됐다.

실제로 오픈AI가 2025년 1월 내놓은 AI 모델 ‘o3’는 물리학·화학·생물학 박사급 시험인 ‘GPQA 다이아몬드’에서 정답률 75%를 기록하는 데 문제당 평균 30센트(약 400원)의 비용이 들었다. 하지만 1년 반 뒤 나온 ‘GPT-5.6 루나’는 같은 난도의 시험에서 같은 성적을 내는 데 단 0.04센트만 들었다. 에포크AI는 이를 두고 5000만원짜리 신차 가격이 1년 반 만에 7만원으로 떨어진 것과 같은 낙폭이라고 설명했다.

이러한 연산 비용 하락은 첨단 AI 모델이 나오면서 가팔라지고 있다. 최근엔 좋은 AI 모델을 사실상 베끼는 ‘증류’ 학습 방법이 광범위하게 쓰이면서 AI 성능을 구현하는 비용이 분기당 66% 폭락했다. 에포크AI는 “빅테크가 막대한 자본과 전력을 쏟아부어 최첨단 모델을 개발하더라도 기술 우위를 바탕으로 비싼 요금을 받아 초과 이익을 누릴 수 있는 기간이 찰나에 불과하다”고 했다.