"AI 운영비용 최대 90% 감소"…앤트로픽, 프롬프트 캐싱 도입

클로드3.5 소네트·클로드3 하이쿠 우선 적용

(지디넷코리아=남혁우 기자)앤트로픽이 생성형 인공지능(AI) 클로드의 운영비용을 최대 90% 줄이고 반응속도를 개선하는 새로운 기능을 공개했다.

16일 실리콘앵글 등 외신에 따르면 앤트로픽은 프롬프트 캐싱을 공식 홈페이지를 통해 발표했다.

이 기능은 앤트로픽의 멀티모달 대규모언어모델(LLM) 클로드3.5 소네트와 고속 AI모델인 클로드3 하이쿠에서 베타모드로 먼저 도입된다.

앤트로픽

프롬프트 캐싱은 AI챗봇의 응답 처리 과정에서 발생하는 비용을 줄이고 반응속도를 높이기 위한 기술이다.

일반적인 AI모델은 프롬프트를 입력할 때마다 해당 데이터를 새로 입력해야 하는 만큼 많은 비용과 시간을 소모한다.

반면, 프롬프트 캐싱은 반복적으로 사용할 긴 문서나 복잡한 프롬프트를 캐시에 저장해 반복 사용하는 방식이다.

앤트로픽에 따르면 프롬프트를 캐시에 저장할 때는 백만 토큰당 3.75달러의 비용이 든다. 하지만 캐시에 저장된 데이터를 불러와 사용할 경우에는 백만 토큰당 0.3달러로 줄어든다.

이를 통해 반복적인 작업에서 기존 대비 최대 90%의 비용 감소효과를 일으킬 수 있다는 설명이다.

더불어 매번 데이터를 새로 불러올 필요가 없는 만큼 응답 시간 역시 2배 이상 높일 수 있다.

앤트로픽에 따르면 10만 토큰 규모의 특정 문서 기반 대화의 경우 캐싱 전 지연 시간은 11.5초수준이었다. 프롬프트 캐싱 적용 후 지연 시간은 2.4초로 79% 줄어드는 성과를 기록했다.

앤트로픽은 프롬프트 캐싱의 실무 사례로 노션을 소개했다. 노션은 해당 기능을 통해 AI 운영 비용을 최대 90%까지 절감했으며, 10초가 걸리던 응답 시간도 약 2.5초로 단축했다고 밝혔다.

더불어 AI응답속도가 증가하고 비용을 절감하게 되면서 더 많은 사용자에게 보다 빠른 AI서비스를 제공할 수 있어 사용자 경험 향상에 큰 영향을 미쳤다고 답했다.

노션의 공동창업자인 사이먼라스트는 "프롬프트 캐싱을 사용해 노션AI를 더 빠르고 저렴할 뿐 아니라 높은 품질을 유지할 수 있게 됐다"며 해당 서비스를 평가했다.

남혁우 기자(firstblood@zdnet.co.kr)