[AI 에이전트 간첩 뜬다 中] ‘자율의 덫’, 불거지는 AI 독소들⋯
통합 관리 체계 ‘가시성 확보’와 ‘제로 트러스트’ 원칙 전 영역 적용 등 필수
목표만 설정하면 자기 주도적으로 업무를 수행하는 ‘AI 에이전트’가 개인을 넘어 산업계 곳곳을 파고들면서 보안의 중요성도 급증하고 있다. 자칫 사람 직원과 마찬가지로 과도한 접근 권한을 부여받았거나 부적절한 지침을 받은 AI 에이전트는 조직 내 보안 취약점을 파고드는 독이 될 수 있다는 우려가 현실화되고 있다.
22일 보안 업계에 따르면 AI 에이전트가 보안 및 컴플라이언스(기업윤리) 통제 수준을 앞지르는 사례가 늘고 있다. 조직의 승인 없이 직원이 AI 도구를 사용하는 ‘섀도우 AI’ 리스크가 확대되고 있다. 특히, 악의적 행위자가 AI 에이전트의 접근 권한과 범위를 악용할 경우 AI 에이전트가 의도치 않은 ‘2중 에이전트’로 전락하는 가능성마저 나온다.
마이크로소프트(MS)의 AI 보안 보고서 ‘사이버 펄스’에 따르면 MS 디펜더 팀은 최근 ‘메모리 포이즈닝’ 기법을 악용한 사기성 공격 캠페인을 포착했다. 메모리 포이즈닝은 대화의 맥락이나 기업에 악의적인 데이터를 심어 AI 에이전트가 잘못된 명령을 수행하거나 사용자의 신원을 왜곡 인식하도록 만든다. 이 캠페인은 여러 공격자가 AI 에이전트의 메모리를 지속적으로 조작해 원하는 답변을 유도하고, 시스템 정확성에 대한 신뢰를 약화시키는 방식으로 진행됐다.
또한, MS AI 레드 팀은 AI 에이전트가 기만적인 인터페이스 요소로 인해 일상적인 콘텐츠에 포함된 유해한 지침을 따르는 등 조작된 작업 프레이밍(인지편향)으로 AI 에이전트의 추론 방향이 왜곡되는 사례를 확인했다.
MS는 AI 에이전트 보안의 출발점으로 ‘가시성 확보’를 제시했다. 가시성 확보는 IT, 보안, 개발자 등 조직의 전 계층을 아우르는 제어 플레인을 구축해 AI 에이전트의 존재 여부와 소유자, 데이터 접근 범위, 행동 양식 등을 파악하는 통합 관리 체계다.
가시성은 △에이전트를 식별·관리하는 ‘레지스트리’ △최소 권한 원칙을 적용하는 ‘액세스 제어’ △리스크와 행위를 실시간 모니터링하는 ‘시각화’ △플랫폼 간 일관된 운영을 지원하는 ‘상호 운용성’ △내·외부 위협으로부터 에이전트를 보호하는 ‘보안’ 등 5가지 핵심 영역으로 구성된다.
AI 에이전트 리스크를 최소화하려면 △AI 에이전트별 운영 목적을 문서화하고 최소 접근 권한을 부여하는 ‘운영 범위 정의’ △AI 채널에 데이터 보호 규칙을 적용해 라벨링, 감사 추적하는 ‘데이터 보호 체계 강화’ △기업이 승인한 플랫폼을 제공해 섀도우 AI를 억제하는 ‘승인된 AI 플랫폼 제공’ △시나리오별 비즈니스 연속성을 업데이트하고 지표를 추적하는 ‘사고 대응 계획 수립’ △학습 데이터 관리, 편향성 평가, 인적 감독 체계를 통한 ‘규제 대응 체계 수립’ △리스크를 격상해 경영진 책임과 KPI, 이사회 가시성을 확보하는 ‘전사 통합 리스크 관리’ △전 임직원을 대상으로 한 ‘보안 혁신 문화 조성’ 등을 수행해야 한다.
동시에 ‘제로 트러스트’ 원칙을 지키는 것도 중요한 부분이다. 제로 트러스트는 ‘모든 접근을 신뢰하지 않고 항상 검증을 수행'하는 보안 모델로 △필요한 권한만 부여하는 ’최소 권한 액세스‘ △ID·기기·위치·리스크 기반의 ’명시적 검증‘ △침해 가능성을 항상 전제로 하는 ’침해 가정‘을 핵심으로 한다.
MS 관계자는 “AI 에이전트 도입 경쟁에서 성공하는 조직은 가시성·거버넌스·보안을 중심에 두고 이를 유기적으로 실행하는 체계를 갖춘 곳”이라며 “이를 위해서는 비즈니스, IT, 보안, AI팀, 개발자 등 조직 전 계층이 협업하고, 모든 에이전트를 단일한 중앙 제어 평면에서 일관되게 관리·관측할 수 있는 환경이 필요하다”고 강조했다.
박준영 기자 pjy60@viva100.com