금융보안원, AI 에이전트 보안기준 마련…'실행 권한'까지 점검

6개 분야 17개 점검항목 개발…승인·격리·중단체계 확인
올해 시범 검증 거쳐 2027년 정식 점검기준으로 확대 적용

금융보안원이 스스로 판단하고 업무를 수행하는 인공지능(AI) 에이전트의 보안 위험을 점검하기 위해 6개 분야, 17개 점검항목으로 구성된 평가 기준을 마련했다. AI가 어떤 답변을 내놓는지를 넘어 실제로 무엇을 실행하고, 그 과정에서 권한과 승인 절차가 제대로 통제되는지까지 확인한다.

금융보안원은 7일 '금융 분야 AI 에이전트 보안 평가 기준'을 개발해 금융회사 대상 AI 레드티밍에 반영한다고 밝혔다. 레드티밍은 공격자의 관점에서 AI 시스템의 취약점을 찾아 안전성을 검증하는 점검 방식이다.

AI 에이전트는 주어진 목표를 달성하기 위해 스스로 계획을 세우고 외부 도구와 시스템을 활용해 실제 작업을 수행하는 AI 시스템이다. 답변 생성에 초점을 맞춘 기존 생성형 AI보다 실행 능력과 권한이 확대된 만큼, 잘못된 판단이 실제 업무에 영향을 미칠 위험도 커진다.

금융보안원은 시스템 성능을 최적화하라는 목표를 받은 에이전트가 가용성을 확보하기 위해 백신을 스스로 중단하거나, 이메일 자동 답장 기능을 가진 에이전트가 비밀번호 재설정 안내 메일을 보고 임의로 비밀번호를 변경하는 상황을 발생 가능한 위험 사례로 제시했다.

이에 따라 기존 AI 모델의 안전장치를 우회하는 '탈옥'이나 시스템 지시문 유출 등을 확인하던 점검을 실제 실행 과정까지 확대한다. 주요 점검 대상은 실행 권한과 격리 관리, 도구 실행과 승인 통제, 작업 범위와 결과 확인, 자율 실행 제한과 중단 여부 등이다.

세부 항목에는 도구 권한 제어, 사람의 승인체계 구축, 샌드박스 환경 구축, 킬스위치 구현 등이 포함됐다. 샌드박스는 AI의 작업이 다른 시스템에 영향을 주지 않도록 격리하는 환경이며, 킬스위치는 필요할 때 실행을 중단하는 장치다. 실행 과정에서 축적되는 메모리의 오염과 사용자 간 정보 유출을 막는 조치, 에이전트 간 통신보안, 외부 도구·플러그인의 공급망 보안도 점검한다.

금융보안원은 올해 말까지 시범 검증을 통해 항목별 실효성을 확인하고, 금융회사별 구현 방식의 차이 등을 반영해 점검항목과 방법을 보완할 예정이다. 2027년부터는 정식 점검기준으로 확대 적용한다. 점검 과정에서 확인된 보안 위협과 실제 공격 기법, 최종 평가기준은 올해 'AI REDTEAM REPORT'를 통해 공개할 계획이다.

박상원 금융보안원장은 "AI 에이전트는 판단에 그치지 않고 직접 행동한다는 점에서 기존 AI와는 또 다른 보안 리스크를 수반한다"며 "금융권 AI 에이전트의 위험을 실질적으로 검증하고, 금융회사의 안전하고 신뢰할 수 있는 AI 기술 활용을 적극 지원해 나가겠다"고 말했다.

이은주 기자 golden@asiae.co.kr