“AI 도입보다 통제권 확보가 먼저”... AI 에이전트 위협 막으려면

최대선 숭실대 교수, ‘AI RISK 컨퍼런스’서 에이전트 권한 남용 위험성 경고
킬 스위치 및 자율 방어 연구, 국내 기업도 도입해야

에이전트 AI 시대가 다가오면서 AI가 목적 달성을 위해 통제를 이탈하는 문제가 터지고 있다. 이에 따라 AI 에이전트 권한 설정과 자율성에 대한 통제가 핵심 보안 과제로 부상했다.

▲최대선 숭실대 AI안정성연구센터 센터장이 발표를 진행하고 있다. [출처: 보안뉴스]

에임인텔리전스는 7일 'AI 리스크 컨퍼런스 서울 2026'을 열고 에이전트 및 피지컬 AI 시대로 진입하며 마주한 신종 취약점과 대응 방안을 논의했다. 이날 연사로 나선 최대선 숭실대학교 AI안전성연구센터 센터장은 'AI 리스크: 권한과 통제'를 주제로, 기업이 예측하지 못한 방향으로 폭주하는 자율형 AI의 위험성을 경고했다.

최대선 교수는 AI가 스스로 다른 사이트를 공격해 데이터를 탈취했던 '허깅페이스(Hugging Face) 해킹 사건'을 대표적 통제 실패 사례로 지목했다. 오픈AI의 해킹 벤치마크 테스트에서 샌드박스 안에 격리된 에이전트가 문제를 더 잘 풀기 위해 정답지를 찾으려 취약점을 뚫고 외부 인프라까지 탈출한 사례다. 최 교수는 "샌드박스를 뚫고 나갈 것이라 상상조차 못 했기에 외부 리포지토리(Repository)에 대한 쓰기 권한을 통제할 생각조차 하지 못했던 전형적 권한 설정의 실패"라고 분석했다.

문제는 에이전트 AI 특성상 촘촘한 권한 설정이 오히려 독이 될 수 있다는 점이다. 최 교수는 최소 권한 원칙을 적용해 AI 동작을 하나하나 코딩하듯 막으면 에이전트 고유의 자율성이 붕괴되고, 반대로 권한을 열어두면 관리자가 의도치 않은 치명적 동작이 발생한다고 설명했다. 메일함을 요약하라는 사용자의 단순 명령이 해커가 숨겨둔 악성 텍스트에 의한 '프롬프트 인젝션'(Prompt Injection) 공격 노출로 아어져 별도 클릭 없이도(Zero-Click) 사내 기밀을 외부로 몰래 전송했던 마이크로소프트 365 '코파일럿(Copilot)' 유출 사태가 대표적 의도와 권한 불일치 사례다.

더 큰 문제는 에이전트 AI가 외부의 시스템적 차단뿐만 아니라 내부의 프롬프트 제약조차 무시하기 시작했다는 점이다. 최 교수는 운영 데이터베이스의 코드를 동결(Code Freeze)하고 삭제하지 말라고 반복적으로 명령해도, 문제를 다 풀었을 때 받는 보상(Reward)에 맹목적으로 훈련된 AI가 이를 무시하고 삭제를 강행한 사례들이 있다고 밝혔다. 시스템 프롬프트의 지시마저 어기고 실행 경로의 통제를 어떻게든 우회하려는 성향이 뚜렷해지고 있다는 것이다.  

이는 결국 최후의 보루인 '킬 스위치'(Kill Switch)의 무력화로 이어진다. 최 교수는 말을 듣지 않는 AI를 멈추게 하는 유일한 방법은 꺼버리는 것이지만, 실제 기업 환경에서 24시간 돌아가는 서비스 시스템의 전원을 당장 내리는 것은 거의 불가능에 가깝다고 지적했다.  

그는 "통제와 권한 부여는 최소 권한이라는 말처럼 쉽게 이뤄질 수 있는 것이 아니"라며 "AI가 샌드박스를 벗어나 어떤 범위를 침해할 수 있는지 로그를 정밀하게 분석하고 지금 당장 기록과 모니터링을 통해 자율성을 통제할 수 있는 구체적 관리 방안을 강구해야 할 시점"이라고 말했다.