에이전트AI, 생성AI보다 전력 소모 '136.5배'↑…"에너지 인프라 중요성 부각"

KAIST 유민수 교수 연구팀, '숨은 전력 비용' 세계 최초 규명

[디지털데일리 오병훈기자] 인공지능(AI)이 질문에 답하는 수준을 넘어 스스로 계획을 세우고 외부 도구를 활용하는 ‘AI 에이전트’로 진화하면서 데이터센터 전력 소비가 새로운 인프라 과제로 떠오르고 있다.

한국과학기술연구원(KAIST) 연구진이 AI 에이전트 계산 비용과 응답 시간, 에너지 소비, 데이터센터 전력 수요를 정량 분석한 결과 기존 생성형 AI보다 질문 한 건당 최대 136.5배 많은 에너지를 소비하는 것으로 나타났다.

KAIST는 전기및전자공학부 유민수 석좌교수 연구팀이 AI 에이전트가 실제 서비스 환경에서 얼마나 많은 계산 자원과 전력을 사용하는지를 체계적으로 분석했다고 5일 밝혔다.

최근 챗GPT와 같은 대형언어모델(LLM) 기반 애플리케이션은 단순 질의응답을 넘어 인터넷 검색, 계산기, 코드 실행 등 외부 도구를 활용해 복잡한 문제를 해결하는 AI 에이전트로 발전하고 있다. 소프트웨어 개발, 연구, 업무 자동화 등 활용 범위가 넓어지고 있지만 이를 실제 서비스로 운영할 때 필요한 전력과 비용은 충분히 검증되지 않았다.

연구팀은 AI 에이전트를 단순 프로그램이 아니라 데이터센터 서버와 GPU가 지속적으로 처리해야 하는 새로운 형태의 워크로드로 보고, 실제 실행 과정에서 발생하는 계산량과 에너지 소비를 분석했다. 그 결과 AI 에이전트는 기존 단계별 추론 방식과 달리 여러 차례 대형언어모델 호출을 반복하면서 작업을 수행하는 것으로 확인됐다.

이 과정에서 응답 시간도 크게 늘었다. 연구팀 분석에 따르면 AI 에이전트의 답변 시간은 최대 153.7배 증가했다. 특히 외부 도구가 작업을 수행하는 동안 GPU는 전체 실행 시간의 최대 54.5%를 아무 계산도 하지 못한 채 대기하는 것으로 나타났다. 복잡한 작업을 처리하기 위해 고가의 GPU를 투입하더라도 실제 활용률이 떨어지는 새로운 비효율이 발생할 수 있다는 의미다.

전력 소비 역시 기존 생성형 AI 서비스보다 훨씬 컸다. 연구팀은 현재 상용 AI 서비스 수준인 700억개 매개변수를 가진 대형언어모델을 사용하는 AI 에이전트가 질문 한 건을 처리하는데 평균 348.41와트시(Wh)의 전력을 소비한다고 분석했다. 이는 기존 생성형 AI의 단순 질의응답 방식보다 136.5배 높은 수준이다.

연구팀은 AI 에이전트 사용이 대규모로 확산될 경우 데이터센터 전력 수요가 급격히 커질 수 있다고 봤다. 하루 137억건 AI 에이전트 요청이 발생하는 미래 환경을 가정하면 데이터센터 전력 수요는 약 198.9기가와트(GW)에 이를 것으로 추정됐다. KAIST는 이 수치가 현재 세계 각국에서 추진 중인 수 GW 규모 AI 데이터센터를 크게 웃도는 수준이며 미국 전체 평균 전력 소비량의 약 절반에 해당한다고 설명했다.

이번 연구는 AI 경쟁력이 모델 성능뿐 아니라 이를 운영하는 인프라 효율성으로 확장되고 있다는 것이 연구팀 분석이다. AI 에이전트가 보편화될수록 AI 모델, 반도체, 데이터센터, 전력 인프라를 따로 최적화하는 방식만으로는 한계가 있다는 지적이다. 연구팀은 AI 반도체와 데이터센터, 전력 인프라를 함께 설계하는 공동 설계(Co-design)가 지속가능한 AI 서비스 운영의 핵심 전략이 될 것으로 내다봤다.

유민수 KAIST 석좌교수는 “이번 연구는 단순히 AI가 더 똑똑해지는 것을 넘어 그 지능을 구현하고 유지하기 위해 얼마나 많은 전력과 비용이 필요한지를 정량적으로 제시한 첫 사례”라며 “AI 에이전트가 보편화되는 시대에는 AI 데이터센터 인프라뿐 아니라 AI 에이전트 모델과 전력 인프라까지 통합적으로 공동 설계해 최적화하는 접근이 더욱 중요해질 것”이라고 말했다.

이어 “이를 통해 최종 사용자가 AI 서비스를 활용하는 데 드는 비용을 획기적으로 줄이고, 동시에 지속가능한 AI 인프라를 구축하기 위한 연구와 투자가 필수적”이라고 덧붙였다.

한편 이번 연구는 KAIST 전기및전자공학부 김지인 박사과정 학생이 제1저자로 수행했다. 연구 결과는 컴퓨터 시스템 설계 분야 국제학회인 제32회 IEEE HPCA에서 지난 2월 발표됐다. 연구팀은 논문에서 활용한 AI 에이전트 구현 기술과 벤치마크를 오픈소스로 공개해 후속 연구에 활용할 수 있도록 했다.

논문명은 ‘동적 추론의 비용: AI 인프라 관점에서 본 AI 에이전트와 테스트 시점 확장의 실체 규명(The Cost of Dynamic Reasoning: Demystifying AI Agents and Test-Time Scaling from an AI Infrastructure Perspective)’이다. 이번 연구는 정보통신기획평가원(IITP)의 SW스타랩, AI 반도체를 활용한 K-클라우드 기술개발사업, AI 반도체 기반 데이터센터 고도화 선도기술개발사업과 삼성전자 미래기술육성센터 지원을 받아 수행됐다.