애피어, 기업용 AI 신뢰성 높이는 ‘역량 캘리브레이션’ 소개

AI도 ‘모르는 건 모른다’ 판단해야…애피어, 기업용 AI 신뢰성 높이는 ‘역량 캘리브레이션’ 소개

AI 네이티브 AaaS(Agentic AI as a Service) 기업 애피어가 연구 논문 '거대언어모델의 캘리브레이션 연구: 응답에서 역량으로'를 통해 고도화된 AI 기술 개발을 위한 연구 성과를 공개했다. 이번 연구에서는 거대언어모델(이하 LLM)의 과도한 확신과 환각 문제를 완화하기 위해 AI 시스템이 특정 과업을 실제로 수행할 수 있는지를 스스로 평가하는 '역량 캘리브레이션' 프레임워크를 제안했다.

이번 연구는 AI 에이전트가 답변을 생성하기에 앞서 해당 문제를 성공적으로 해결할 가능성을 먼저 추정할 수 있도록 하는 데 초점을 맞췄다. 정량화된 자기평가 메커니즘을 적용하면 AI 시스템은 보다 신뢰도 높은 의사결정을 내리는 동시에 연산 자원을 효율적으로 배분할 수 있다. 이를 통해 기업용 AI 도입 과정에서 신뢰성, 비용 효율성, 확장성을 함께 높일 수 있다.

기존 LLM 캘리브레이션은 개별 응답이 정확한지, 즉 하나의 답변이 맞는지를 평가하는 데 주로 초점을 맞춰왔다. 하지만 LLM은 확률적으로 답변을 생성하기 때문에 동일한 질문에도 시도할 때마다 서로 다른 결과를 내놓을 수 있다. 따라서 단일 응답만으로 모델이 해당 문제를 실제로 얼마나 잘 해결할 수 있는지 판단하는 데에는 한계가 있다.

실제 기업 환경에서는 AI가 우연히 한 번 정답을 내는 것보다 특정 과업을 지속적이고 일관되게 해결할 수 있는지가 더 중요하다. 애피어의 역량 캘리브레이션 프레임워크는 평가 기준을 개별 응답에 대한 확신도에서 '주어진 질문을 모델이 성공적으로 해결할 확률인 기대 성공률'로 확장했다. 이에 따라 평가 대상 역시 단일 답변이 아니라 모델의 전반적인 문제 해결 역량으로 넓어지며, 실제 비즈니스 환경에 보다 적합한 성능 지표를 제공한다.

치한 위(Chih-Han Yu) 애피어 CEO 겸 공동창업자는 "AI 에이전트는 단순히 답변을 생성하는 것을 넘어 자신이 어느 수준까지 문제를 해결할 수 있는지 이해해야 한다"며, "역량 캘리브레이션을 활용하면 에이전트가 응답 전 성공 가능성을 추정하고 그 결과에 따라 자원을 보다 효율적으로 배분할 수 있다. 단순한 질의는 빠르게 처리하는 한편, 복잡한 과업에는 더 강력한 모델이나 추가 연산 자원을 자동으로 투입할 수 있다"고 말했다.

이어 "이는 AI가 단순한 도구를 넘어 자원 관리와 비용 최적화, 의사결정 품질 개선까지 능동적으로 수행하는 시스템으로 발전하는 것을 의미하며, 기업용 AI 에이전트를 확장하기 위한 핵심 기반이 될 것"이라고 설명했다.

애피어는 이번 연구에서 역량 캘리브레이션과 기존 응답 캘리브레이션 사이의 이론적 관계를 정립하고, 세 가지 LLM과 지식 집약형 및 추론 집약형 과업을 포함한 7개 데이터셋을 활용해 다양한 확신도 추정 방식을 비교 분석했다.

평가에는 ▲모델이 텍스트 또는 백분율 형태로 스스로 확신도를 표현하는 방식 ▲생성 과정에서 나타나는 신호를 활용해 답변이 정답일 가능성을 추정하는 정답 확률 추정 방식 ▲모델 내부 신호를 바탕으로 문제를 실제로 이해하고 있는지를 판단하는 선형 탐사 방식 등이 사용됐다.

실험 결과 선형 탐사 방식이 성능과 비용 측면에서 가장 균형 잡힌 결과를 보였으며, 단일 토큰을 생성하는 것보다 낮은 수준의 연산 비용으로도 안정적인 확신도 추정이 가능한 것으로 확인됐다.

이 같은 결과는 역량 캘리브레이션이 실제 기업 환경에서 AI 에이전트의 활용 범위를 넓히는 데 활용될 수 있음을 보여준다. 특히 모델이 과업을 수행하기 전에 성공 가능성을 추정할 수 있다면, 문제의 난이도와 예상 결과에 따라 필요한 연산 자원을 선택적으로 투입할 수 있다. 이는 AI 에이전트의 성능뿐 아니라 운영 과정에서 발생하는 연산 비용과 자원 활용 효율을 함께 고려할 수 있다는 점에서 의미가 있다.

애피어가 제안한 역량 캘리브레이션 프레임워크는 크게 두 가지 실제 활용 가능성을 제시한다. 첫째는pass@k 예측이다. pass@k는 복잡한 문제에서 LLM의 성능을 평가할 때 널리 활용되는 지표로, 여러 차례 시도했을 때 최소 한 번 이상 정답을 생성할 확률을 뜻한다. 이번 프레임워크를 활용하면 실제로 여러 번 답변을 생성하지 않고도 모델이 정답을 낼 가능성을 사전에 추정할 수 있다.

둘째는 추론 자원 배분 최적화다. 문제의 난이도에 따라 연산 자원을 동적으로 배분해 어려운 과업에는 더 많은 시도를 할당하고, 같은 연산 예산 안에서 보다 많은 과업을 해결할 수 있도록 지원한다.

역량 캘리브레이션은 AI 에이전트가 실제 행동에 나서기 전 안정적이고 정량화된 확신도 시그널을 확보하도록 지원한다. 이를 기반으로 에이전트는 해당 문제를 직접 처리할지, 외부 툴을 활용할지, 또는 사람에게 도움을 요청할지를 판단할 수 있다. 이는 불확실성이 존재하는 비즈니스 환경에서 AI 시스템의 신뢰도를 높이는 핵심 요소로 작용할 수 있다.

애피어 AI 연구팀은 역량 캘리브레이션 기술을 지속적으로 고도화해 모델 평가 방식뿐 아니라 모델 라우팅, 인간-AI 협업, 신뢰할 수 있는 AI 시스템 구축 등으로 적용 범위를 확대하고 있다. 또한 해당 연구 성과를 애피어의 광고 및 마케팅 솔루션에 통합해 기업들이 복잡한 디지털 환경에서 보다 효율적이고 신뢰도 높은 에이전틱 AI 운영 체계를 구축할 수 있도록 지원할 예정이다.

이상현 기자 lshb01@asiae.co.kr