AI 업체들, 추론 비용 ‘다이어트 전쟁’

그래픽=백형선

전 세계 기업들이 치솟는 인공지능(AI) 비용을 줄이기 위해 ‘추론 비용 다이어트 전쟁’에 돌입했다. AI 사용량을 줄여 비용을 최소화하는 것을 넘어 하드웨어와 소프트웨어적 기술로 AI를 쓸 때마다 발생하는 추론 비용을 낮추려는 기술 경쟁이 본격화한 것이다.

미 IT 매체 디인포메이션은 최근 오픈AI 엔지니어들이 새로운 최적화 기법으로 기존 AI 추론 비용을 절반 이하로 낮췄다고 보도했다. 오픈AI 측은 자세한 방법을 공개하지 않았지만, 이 기법으로 AI 추론에 필요한 그래픽처리장치(GPU)가 200개 안팎으로 크게 줄어든 것으로 알려졌다.

오픈AI의 이번 테스트는 사용량이 적고 쉬운 작업 위주로 요청하는 챗GPT 미가입 계정을 대상으로 진행한 것이라 한계가 있다. 하지만 소프트웨어적으로 추론 효율을 높이고 비용을 줄일 수 있다는 점에서 테크 업계의 큰 주목을 받았다.

AI 기업들이 AI 추론 비용을 줄이기 위한 '비용 다이어트 전쟁'에 나서고 있다. /제미나이 생성

◇소프트웨어로 추론 비용 다이어트

AI 업체들이 추론 비용 다이어트에 민감해진 것은 AI 사용 비용이 단기간 눈덩이처럼 커지며 재정적으로 부담이 되어서다. AI가 스스로 판단하고 실행하는 AI 에이전트는 AI의 데이터 처리 단위인 토큰 소비량을 크게 늘린다.

골드만삭스 리서치에 따르면, 올해 5600조개인 전 세계 AI 에이전트 월간 토큰 소비량은 2030년엔 21배 증가한 11경7700조개가 될 것으로 예상된다. 리눅스재단 산하인 핀옵스재단의 JR 스토먼트 이사는 “기업들이 AI 추론 비용 때문에 존립 위기에 처했다는 이야기를 듣기 시작했다”고 말했다.

AI 기업들은 추론 비용을 낮추기 위해 다양한 소프트웨어적 방안을 내놓고 있다. 오픈AI가 최근 개발한 최적화 방식은 연산 정밀도를 손상 없이 낮추는 ‘양자화’와 요청을 일정 묶음 단위로 처리해 연산량을 줄이는 방식, 쉬운 질문은 가격이 싼 모델로 자동 연결하는 모델 라우팅 방식을 조합한 것으로 알려졌다.

그래픽=김현국

중국의 딥시크는 작업 시 모든 토큰 쌍을 대조하는 기존 방식 대신 별도의 문맥 관리 도구인 ‘인덱서’가 작업과 관련이 있는 토큰만 골라 연산해 서버 부담을 줄이는 ‘딥시크 희소 어텐션(DSA)’을 개발했다. 딥시크는 “이 방식으로 성능은 기존과 동일하면서 추론 비용은 절반 이하로 낮췄다”고 밝혔다.

◇효율 높인 추론 전용 칩도 봇물

추론 효율을 높여 비용을 낮추는 하드웨어 개발도 봇물을 이룬다. 오픈AI는 지난달 브로드컴과 만든 첫 자체 추론 전용 칩 ‘할라페뇨’를 공개했다. 설계에 AI를 투입, 파운드리(위탁 생산) 업체에 최종 도면을 넘기기까지 9개월밖에 걸리지 않았다. 통상 2~3년 걸리는 작업이다. 오픈AI는 “기존 최고 성능 AI 가속기보다 와트당 성능이 대폭 뛰어난 제품”이라고 했다.

빅테크들은 너도나도 자체 AI 추론 전용 칩을 만든다. 구글은 8세대 TPU부터 학습용과 추론용 칩을 분리해 설계·생산한다. 마이크로소프트도 올 1월 추론 전용 ‘마이아 200’을 공개했다. 엔비디아는 작년 추론 특화 언어처리장치(LPU)를 만드는 스타트업 그로크를 사실상 인수하고, 이 업체의 저지연·고효율 처리 성능을 기존 엔비디아 AI 아키텍처에 통합하고 있다.

국내 AI 칩 설계 업체인 리벨리온과 퓨리오사AI도 엔비디아 GPU 대비 추론 성능은 높고 전력 소비량은 적어 총 사용 비용이 싼 추론 특화 칩을 내놓고 시장을 공략 중이다. 리벨리온은 사우디 아람코에 2세대 추론 특화 칩 ‘리벨100′을 납품하고, 퓨리오사는 ‘레니게이드’ 양산에 돌입했다.

이러한 노력을 바탕으로 AI 추론 단가는 감소 추세다. 하지만 AI 사용량이 더 폭발적으로 늘면서 총 추론 비용은 지속 상승할 것으로 예상된다. 효율이 좋아질수록 소비가 더 늘어나 총 사용량이 증가하는 ‘제번스의 역설’이 적용되는 것이다.

시장조사 업체 사크라에 따르면 오픈AI의 연간 추론 지출액은 2025년 84억달러(약 12조7000억원)에서 2026년 141억달러(약 21조4000억원)로 증가할 것으로 전망된다. 테크 업계 관계자는 “폭증하는 추론 수요는 결국 AI를 구동하는 데 필수적인 메모리 수요를 키울 것”이라고 했다.