80% 기업이 AI 에이전트 쓰는데... AI 보안 통제는 47%만 도입

섀도우 AI·메모리 포이즈닝·이중 에이전트 등 위협 부상
비즈니스·IT·보안팀 협력 중요성 부상

[보안뉴스 강현주 기자] 전세계 주요 기업 80% 이상이 로우코드나 노코드 도구로 활성 에이전트를 이용 중인 반면, 생성형 AI에 대한 보안 통제를 도입한 기업은 47%에 불과한 것으로 나타났다.

11일 마이크로소프트는 AI 보안 보고서 사이버 펄스(Cyber Pulse: An AI security report)를 공개하고, 기업이 에이전트를 안전하게 도입해 혁신을 가속하기 위한 가시성, 거버넌스, 제로 트러스트 보안 원칙을 제시했다.

전 세계적으로 사람과 에이전트가 협업하는 사람-에이전트 팀이 빠르게 확산되고 있다. 실제로 포춘 500대 기업의 80% 이상이 로우코드·노코드(low-code ·no-code) 도구로 활성 에이전트를 구축 및 운용 중인 것으로 조사됐다.

[출처: 마이크로소프트]

”비즈니스·IT·보안팀 협력하는 조직이 AI 경쟁 앞설 것”
보고서는 AI 에이전트의 급격한 확산이 가시성 격차라는 새로운 비즈니스 리스크를 만들어내고 있다고 분석했다. 이어 AI 도입 경쟁에서 앞서게 될 조직은 비즈니스·IT·보안팀이 협력해 에이전트 활동을 관측하고 거버넌스를 적용하며 보안을 강화하는 체계를 갖춘 곳이 될 것으로 전망했다.

이어 제로 트러스트 원칙의 중요성을 강조했다. 이는 △필요한 권한만 부여하는 최소 권한 액세스 △ID·기기·위치·리스크 기반의 명시적 검증 △침해 가능성을 항상 전제로 하는 침해 가정을 핵심으로 한다.

로우코드·노코드 도구의 확산으로 지식 근로자들이 직접 에이전트를 개발할 수 있는 환경이 마련되면서, AI 기반 자동화가 산업 전반으로 빠르게 확산되고 있다. 지역별 활성 에이전트 비중은 유럽·중동·아프리카42%, 미국 29%, 아시아 19%, 아메리카 10% 순으로 나타났다. 산업별로는 소프트웨어·기술 16%, 제조업 13%, 금융 서비스 11%, 리테일 9%의 비중을 기록했다.

에이전트 도입은 다양한 플랫폼을 통해 활발히 이뤄지고 있다. 마이크로소프트는 패브릭과 파운드리부터 코파일럿 스튜디오, 에이전트 빌더에 이르기까지 기업이 에이전트를 직접 구축·배포할 수 있는 환경을 제공하고 있다.

”에이전트 도입 속도가 보안 통제 앞질러”
에이전트 도입이 빠르게 확산되면서 보안 및 컴플라이언스 통제 수준을 앞지르는 사례가 늘고 있다. 이에 따라 섀도우 AI리스크가 확대되고 있다. 악의적인 행위자가 에이전트의 접근 권한과 권한 범위를 악용할 경우 에이전트가 의도치 않은 이중 에이전트로 전락할 수 있다. 이는 인간 직원과 마찬가지로, 과도한 접근 권한을 부여받았거나 부적절한 지침을 받은 에이전트는 조직 내 보안 취약점으로 작용할 수 있다는 설명이다.

이 같은 이중 에이전트 리스크는 이론적 우려에 그치지 않는다. 최근 마이크로소프트 디펜더 팀은 메모리 포이즈닝(memory poisoning) 기법을 악용한 사기성 공격 캠페인을 포착했다. 이는 여러 공격자가 AI 어시스턴트의 메모리를 지속적으로 조작해 향후 응답을 은밀히 유도하고, 시스템 정확성에 대한 신뢰를 약화시키는 방식으로 이뤄졌다.

마이크로소프트 AI 레드 팀은 에이전트가 기만적인 인터페이스 요소로 인해, 일상적인 콘텐츠에 포함된 유해한 지침을 따르는 사례를 파악했다. 아울러 조작된 작업 프레이밍(task framing)으로 에이전트의 추론 방향이 왜곡되는 사례도 확인했다.

관리적 리스크도 뚜렷하게 드러났다. 하이포테시스 그룹이 마이크로소프트 의뢰로 실시한 조사에서는 직원의 29%가 미승인 AI 에이전트를 업무에 사용한 경험이 있는 것으로 나타났다. 또한 마이크로소프트 데이터 보안 지수에 따르면 생성형 AI 보안 통제를 도입한 조직은 47%에 불과했다. 이 같은 조사 결과는 안전한 AI 도입을 위해 명확한 가시성이 필요함을 시사한다.

앞서가는 기업들은 AI 에이전트를 계기로 거버넌스를 현대화하고, 불필요한 데이터 공유를 최소화하며, 전사적 통제 체계를 단계적으로 강화하고 있다. 보고서는 이러한 접근이 에이전트 보호를 경쟁 우위로 전환하는 전략적 자산으로 부상하고 있다고 설명했다.

보고서는 AI 에이전트 보안·거버넌스 강화를 위한 △운영 범위 정의 △데이터 보호 체계 강화 △승인된 AI 플랫폼 제공 △사고 대응 계획 수립 △규제 대응 체계 수립 △전사 통합 리스크 관리 △보안 혁신 문화 조성 등 7가지 실행과제를 제시했다.

또 AI 에이전트 도입 경쟁에서 성공하는 조직은 가시성·거버넌스·보안을 중심에 두고 이를 유기적으로 실행하는 체계를 갖춘 곳이라고 강조했다. 이를 위해서는 비즈니스, IT, 보안, AI팀, 개발자 등 조직 전 계층이 협업하고, 모든 에이전트를 단일한 중앙 제어 평면에서 일관되게 관리·관측할 수 있는 환경이 필요하다고 설명했다.

사이버 펄스 보고서에 대한 자세한 정보와 마이크로소프트의 보안 제품 및 서비스는 공식 웹사이트를 통해 확인 가능하다.
마이크로소프트 관계자는 “마이크로소프트 에이전트 365는 이러한 통합 제어 플레인을 구현하는 플랫폼으로, 마이크로소프트 생태계는 물론 오픈소스 및 타사 시스템에서 구축된 AI 에이전트를 등록·관리·보안·감시·운영까지 중앙에서 통합적으로 관리할 수 있도록 지원한다”고 말했다.