똑똑한 AI 에이전트, 연봉은 136배?...챗봇AI보다 전력 136배 더 사용

유민수 카이스트 석좌교수
‘AI 에이전트 효율’ 세계최초 분석
소모 전력 136배 더 필요하고
답변 시간도 153배 길어져
“정확도와 효율 사이 균형점 찾아야”

유민수 KAIST 전기및전자공학부 석좌교수는 인공지능(AI) 에이전트의 에너지 사용량을 세계 최초로 분석한 결과를 발표했다. [사진=KAIST·챗GPT로 생성한 이미지]

인공지능(AI) 에이전트가 기존 챗봇 형태의 AI보다 에너지 효율이 크게 떨어지는 것으로 나타났다. 질문 하나를 처리하는 데 AI 에이전트는 최대 136.5배 더 많은 전력이 필요했다. 앞으로 AI 산업이나 정책을 구상할 때, 반드시 전력 인프라 증설을 함께 고려해야 하는 이유다.

유민수 KAIST 전기및전자공학부 석좌교수는 AI 에이전트가 얼마나 많은 계산 자원과 전력을 사용하는지를 분석했다고 5일 밝혔다. AI 에이전트의 에너지 사용을 정량적으로 분석한 건 이번이 세계적으로도 처음이다.

최근 AI는 점차 정확도는 높아지지만 효율은 급격히 나빠지는 방향으로 발전하고 있다. 계산량이 많아질수록 정확도는 증가하지만, 점차 증가폭은 작아진다. 여러 AI 모델이 협력하는 AI 에이전트의 효율 역시 자연스레 떨어질 수밖에 없다. 연구진은 기존에 출시된 5가지의 AI 에이전트의 전력 소비, 그래픽처리장치(GPU) 사용량 등 전반적인 자원 소모를 평가했다.

연구에 따르면 AI 에이전트는 기존 AI 모델보다 답변 시간이 길어졌으며, GPU 효율은 낮아졌다. 답변 시간은 최대 153.7배 늘어났고, GPU는 전체 실행 시간의 최대 54.5%를 아무 계산도 하지 않은 채 대기하는 것으로 나타났다. AI가 복잡한 일을 할수록 GPU를 충분히 활용하지 못하는 셈이다.

전체적인 비효율이 늘어나는 건 AI 에이전트가 LLM을 여러 번 호출해 활용하기 때문이다. 생성형 AI가 질문 하나에 LLM을 한 번 활용하는 반면, 이번에 분석한 AI 에이전트 중 하나는 평균 71번을 활용했다. 이 경우, LLM을 쓰지 않는 약 70번의 틈새 시간에 GPU는 별도의 작업 없이 대기하게 된다. 답변 품질은 좋아지지만 효율은 떨어지는 것이다.

AI 에이전트는 질문 한 건을 처리하는 데 평균 348.41와트시(Wh)를 소비했다. 기존 생성형 AI보다 최대 136.5배 높은 수준이다. 현재 구글 검색이 하루에 약 137억 건 이뤄지는데, 같은 검색량이 모두 AI 에이전트로 이뤄진다면 약 198.9기가와트(GW)가 필요하다. 미국 전체 전력 소비량의 약 절반에 해당하는 규모다.

연구진은 앞으로 AI 업계의 전선이 정확도에서 효율로 바뀌어야 한다고 제언한다. 무작정 정확도를 높일 게 아니라, 같은 정확도를 어떻게 더 적은 계산으로 달성할지를 고민해야 한다는 것이다. AI에 끝없이 자원을 투입할 수는 없는 만큼 정확도와 효율의 적절한 관계를 찾는 게 과제다.

구체적으로는 AI 에이전트 내에 다양한 규모의 AI 모델을 섞고, 질문에 답을 하기 전 얼마나 계산이 필요한지를 따져보는 ‘계산인지형 추론’이 필요하다고 말한다. 모든 질문에 대형 AI 모델을 사용하지 말고, 조금만 계산해도 되는 문제라면 작은 AI 모델로 간단하게 답하라는 것이다.

유 교수는 “앞으로 AI 에이전트가 보편화되는 시대에는 AI 데이터센터 인프라뿐 아니라 전력 인프라까지 통합적으로 공동 설계하는 최적화 접근이 더 중요해질 것”이라며 “AI 서비스 활용 비용을 획기적으로 절감하고, 동시에 지속가능한 AI 인프라를 구축하기 위한 연구와 투자가 필수적”이라고 했다.