'추론용 칩' 승부수 던진 구글…AI 컴퓨팅 경쟁 격화

구글 이번 주 8세대 TPU 공개 예정
엔비디아·AWS·스타트업과 경쟁 심화

구글. [출처=연합]

구글이 인공지능(AI) 연산의 핵심 축이 '학습'에서 '추론'으로 이동하는 흐름에 맞춰 전용 반도체를 공개하며 시장 경쟁에 다시 불을 지폈다. AI 에이전트 확산으로 추론 수요가 급증하는 가운데, 보다 빠르고 효율적인 칩 확보 경쟁이 본격화되는 모습이다.

특히 생성형 AI 이후 실제 서비스 단계에서의 연산 수요가 폭증하면서, 시장의 관심은 대규모 모델 학습보다 실시간 응답을 처리하는 추론 인프라로 빠르게 이동하고 있다.

22일(현지시간) 월스트리트저널에 따르면 구글은 AI 모델 '학습(training)'이 아닌 '추론(inference)' 연산에 최적화된 새로운 반도체를 개발했다. 추론은 AI 모델이 질문에 답하거나 작업을 수행할 때 필요한 연산으로, 기업들이 AI 에이전트를 도입하면서 수요가 급증하고 있다.

구글은 이번 주 미국 라스베이거스에서 열리는 행사에서 8세대 텐서처리장치(TPU)를 공개할 예정이다. 회사는 수년간 추론 특화 칩을 개발해 왔으며, 최근 일부 AI 기업을 대상으로 성능 테스트도 진행한 것으로 전해졌다.

이와 함께 구글은 AI 모델에 데이터를 학습시키는 '트레이닝'용 칩도 별도로 선보일 계획이다.

토머스 쿠리안 구글 클라우드 최고경영자(CEO)는 "추론이 없다면 학습 비용을 감당할 수 없다"며 "결국 추론 시장은 학습 시장과 같거나 더 커질 것"이라고 말했다.

이번 개발은 AI 반도체 시장 1위인 NVIDIA와의 경쟁을 한층 격화시키는 요인으로 평가된다. 엔비디아 역시 최근 GPU 기반 서버와 스타트업 Groq 기술을 결합한 추론 솔루션을 공개한 바 있다.

추론 특화 반도체를 개발하는 스타트업들도 빠르게 부상하고 있다. Cerebras는 최근 Amazon Web Services와 대형 계약을 체결했으며, 기업공개(IPO)도 추진 중이다.

그동안 AI 반도체 시장은 GPU를 앞세운 엔비디아가 주도해왔다. GPU는 대규모 병렬 연산에 강점이 있어 AI 학습에 최적화돼 있지만, 추론에는 상대적으로 더 많은 메모리와 낮은 지연(latency)이 요구된다.

메모리가 부족할 경우 데이터 접근 속도가 제한되는 '메모리 월(memory wall)' 문제가 발생해 응답 속도가 느려질 수 있다.

마크 로마이어 구글 클라우드 부사장은 "고객들이 가장 중요하게 보는 것은 지연 시간을 얼마나 줄일 수 있느냐"라고 설명했다.

특히 AI 에이전트는 단순 챗봇보다 훨씬 많은 연산을 필요로 한다. 단일 요청이 챗봇 대비 20~50배 많은 추론 트랜잭션을 발생시키기 때문이다.

구글은 10년 이상 자체 반도체를 설계해 왔으며, TPU는 데이터센터와 클라우드 환경에서 활용돼 왔다. 현재는 생성형 AI 모델인 '제미니'와 이미지 생성 서비스 등에도 사용되고 있다.

TPU는 Broadcom과 협력해 개발되고 있으며, 구글은 지난해 7세대 TPU '아이언우드(Ironwood)'를 출시했다.

최근 구글과 브로드컴은 Anthropic을 위한 AI 칩 개발 협력을 확대한다고 발표했으며, 구글은 외부 기업을 대상으로 TPU 공급도 확대하고 있다.

업계에서는 구글이 TPU를 클라우드 외부까지 상용화할 가능성에도 주목하고 있다. 실제로 구글은 앤스로픽과 메타 등과 대형 공급 계약을 체결한 바 있다.

한편 구글은 AI 인프라 총괄 책임자로 아민 바흐다트를 임명하고 TPU 사업과 차세대 AI 모델 개발을 통합 관리하고 있다. 회사는 최근 고객들이 연산 자원을 보다 작업 환경 가까이에서 활용하려는 수요가 증가하고 있다고 설명했다.

AI 확산이 '모델 경쟁'에서 '인프라 경쟁'으로 이동하면서, 반도체 설계 역량이 빅테크 경쟁력을 좌우하는 핵심 변수로 부상하고 있다는 분석이 나온다.