AI 에이전트 보안 위협 커진다…SK쉴더스 EQST, AI 레드티밍으로 보안 전문성 강화

[사진자료] SK쉴더스 사이버보안 관제센터 '시큐디움(Secudium)'의 모습 (제공=SK쉴더스)

SK쉴더스는 'AI 에이전트' 시대로 진화하면서 공격자 관점에서 AI 시스템의 취약점을 검증하는 AI 레드티밍(AI Red Teaming) 역량을 강화하고 있다고 10일 밝혔다.

생성형 인공지능(AI)이 단순히 질문에 답하는 수준을 넘어 스스로 계획을 세우고 실행하는 'AI 에이전트(AI Agent)' 시대로 진화하고 있다. AI 에이전트는 기업 내부 시스템과 데이터베이스, 외부 서비스를 연동해 업무를 수행하고 의사결정을 지원하는 등 활용 범위를 빠르게 넓혀가고 있다.

하지만 AI의 자율성과 권한이 커질수록 새로운 보안 위협도 함께 증가했다. 최근에는 외부 웹페이지나 문서에 숨겨진 악성 지시를 AI가 정상 명령으로 인식하는 '에이전트 하이재킹(Agent Hijacking)', AI의 기억 영역에 악성 정보가 축적돼 이후 판단에 영향을 미치는 '메모리 오염(Memory Poisoning)', 과도한 권한을 부여받은 도구를 악용한 정보 유출 및 시스템 오남용 등이 대표적인 위협으로 꼽힌다.

이처럼 AI가 자율적으로 판단하고 행동하는 시스템으로 발전하면서 실제 공격자가 활용할 수 있는 기법과 시나리오를 적용해 AI 시스템의 취약점과 잠재적 위험을 식별하는 보안 검증 활동인 AI 레드티밍(AI Red Teaming)의 중요성도 높아지고 있다.

글로벌 AI 기업들은 이미 AI 레드티밍을 핵심 보안 체계로 운영 중이다. 오픈AI(OpenAI), 구글(Google), 앤트로픽(Anthropic), 마이크로소프트(Microsoft) 등은 전담 레드팀을 통해 AI 모델과 서비스를 지속적으로 검증하며 새로운 위협을 탐지하고 대응 체계를 고도화하고 있다.

최근에는 AI 모델이 목표 달성을 위해 시스템 제약을 우회하거나 예상하지 못한 행동을 수행하는 사례들이 보고되면서 공격 시뮬레이션과 레드티밍이 글로벌 AI 업계의 핵심 검증 절차로 자리 잡고 있다.

국내에서도 AI 보안 체계 구축이 본격화되고 있다. 과학기술정보통신부와 한국인터넷진흥원(KISA)은 최근 'AI 보안 레드티밍 가이드'를 발간했으며, SK쉴더스의 화이트해커 조직 EQST(Experts, Qualified Security Team)가 가이드 제작에 참여해 AI 보안 검증 체계 수립에 기여했다.

해당 가이드는 AI 모델뿐 아니라 AI 시스템 전반을 검증 대상으로 제시했다. 또한 프롬프트 인젝션(Prompt Injection), 시스템 프롬프트 유출, 탈옥(Jailbreak), 권한 오남용 등 다양한 AI 위협에 대한 지속적인 보안 점검을 권고했다.

특히 AI 에이전트가 외부 도구와 상호작용하며 발생할 수 있는 에이전트 하이재킹, 에이전트 DoS, 메모리 오염 등 새로운 위협 유형을 제시하며 AI 보안 검증 체계의 필요성을 강조했다.
또한, SK쉴더스는 EQST를 중심으로 AI 보안 분야에서도 전문성을 확대하고 있다.

EQST는 글로벌 AI 보안 가이드라인인 'MITRE ATLAS 178개 AI Technique, OWASP Top 10 for LLM' 등을 반영한 자체 프레임워크를 기반으로 AI 모델, 데이터, 애플리케이션, 외부 시스템 연계 구간 전반의 보안 위험을 체계적으로 진단한다. 또한 자체 AI 공격 시나리오 데이터베이스(DB)와 AI 특화 모의해킹 방법론을 활용해 프롬프트 인젝션, 권한 오남용, 정보 유출 등 조직 내부에서 발견하기 어려운 보안 사각지점을 식별하고 대응 방안을 제시한다.

최근 글로벌 AI 레드팀 해킹대회 'Judgement Day'에서 멀티모달 프롬프트 인젝션(Multimodal Prompt Injection) 공격 기법을 활용해 AI의 의사결정을 교란하는 시나리오를 구현하며 최종 1위를 차지하기도 했다.

전문가들은 AI 보안이 서비스 출시 전 한 차례 점검으로 끝나서는 안 된다고 강조한다. AI 모델이 업데이트되거나 새로운 기능이 추가되고, AI 에이전트가 새로운 업무 시스템과 연동될 때마다 새로운 취약점이 발생할 수 있기 때문이다.

'AI 보안 레드티밍 가이드'에서도 개발 단계와 배포 단계, 운영 단계 전반에서 반복적인 레드티밍 수행을 권고하고 있다. AI 모델 업데이트, 데이터 변경, 외부 서비스 연계 등 주요 변화가 발생할 경우 지속적인 검증을 통해 새로운 위험 요소를 식별해야 한다는 것이다.

SK쉴더스 관계자는 "AI가 AI 에이전트 형태로 진화하면서 보안과 신뢰성 확보가 기업 경쟁력의 중요한 요소로 자리잡고 있다"며 "SK쉴더스 EQST는 AI 레드티밍과 AI 보안 검증 서비스를 통해 기업들이 AI를 보다 안전하게 도입·운영하고 변화하는 위협에 선제적으로 대응할 수 있도록 지원할 계획"이라고 말했다.

김혜인 기자 hyein51@hankyung.com