9초만에 회사DB 싹 날리고도 태연…해커도, 신입사원도 아니라는데

2026 AI 세이프티 컴패스 컨퍼런스
“권한가진 AI에이전트 뭐든 해버려
얼마나 똑똑한가 넘어 통제에 초점”

[[Unspalsh/Birhat Jiyad]

외부 침입자가 뚫고 들어온 것도, 누군가 권한을 훔친 것도, 없던 명령을 내린 것도 아니었다. AI 에이전트는 부여받은 권한 안에서 합리적으로 판단을 거듭하다가 회사의 핵심 데이터베이스(DB)를 삭제했다. 3개월치 백업까지 함께 사라졌다. 이 모든 일이 벌어지는 데 걸린 시간은 단 9초였다.

지난 26일 열린 ‘2026 AI 세이프티 컴패스(ASC) 컨퍼런스’에서 이한울 에임인텔리전스 부사장이 공유한 이 사례는 AI 에이전트 시대가 직면한 위협의 본질을 압축한다. 텍스트를 주고받는 데 그쳤던 챗봇과 달리, 스스로 목표를 세우고 외부 도구와 시스템을 직접 다루는 에이전트가 업무 전면에 배치되면서 생산성 기대만큼 통제를 벗어난 사고 위험도 커졌다.

문제는 이 사고가 외부 침입이 아니라 정상적으로 부여된 권한 안에서 벌어졌다는 점이다. 사람이 아닌 AI가 스스로 도구와 시스템에 접근해 ‘행동하는 주체’가 되면서 침입자를 막는 데 초점을 맞춰온 기존 보안 모델로는 이런 위협을 잡아내기 어려워졌다.

김명주 AI안전연구소장이 지난 26일 열린 ‘2026 AI 세이프티 컴패스 컨퍼런스’에서 본격적인 에이전틱 AI 시대를 앞두고 AI 에이전트 활용 안전 원칙과 에이전틱 AI 위험 관리에 대한 인사이트를 제시했다. <사진=국제인공지능윤리협회>

국제인공지능윤리협회(IAAE)가 주최해 올해 3회째를 맞은 ASC 컨퍼런스는 ‘AI 에이전트의 보안과 기업의 신뢰 구현 전략’을 주제로 열렸다. AI안전연구소(AISI), 한국인터넷진흥원(KISA)을 비롯해 포티투마루, AI스페라, 데이븐AI, 에임인텔리전스 등 공공·기업·학계 전문가와 참석자 100여 명이 모였다.

연사들은 보안과 신뢰를 사후에 덧붙이는 기능이 아니라 설계 단계부터 내장해야 한다고 입을 모았다. AI 에이전트 가치는 ‘얼마나 똑똑한가’가 아니라 ‘얼마나 안전하게 통제할 수 있는가’에서 갈린다는 진단이다.

“상식에 벗어난 AI…권한 주면 무엇이든 해”

위협의 근원을 짚은 첫 연사는 김명주 AISI 소장이다. 김 소장은 “최근 AISI가 글로벌·중국어·한국어 모델을 오픈소스 기반 에이전트 환경인 ‘오픈클로’에서 직접 구동해 악성 명령 수행 여부와 민감 개인정보 무단 유출, 도구 오·남용 등을 측정한 결과, 모델별 평균 공격 방어율이 최고 93.9%에서 최저 53.3%까지 편차가 상당했다”고 밝혔다.

김 소장이 짚은 핵심은 ‘AI에게는 조직의 상식이 없다’는 점이다. 그는 “사람에게 일을 시킬 때는 ‘설마 그렇게까지 하겠어’라는 상식이 전제되지만, AI는 그런 전제 없이 부여된 권한 안에서 무엇이든 하려 든다”며 “사람이 아니라는 점을 전제하고 하나부터 열까지 가이드라인으로 제시해야 한다”고 강조했다.

이런 문제의식 아래 AISI는 싱가포르 AI안전연구소와 협업해 각국 가이드라인을 통합한 ‘메타 원칙’을 도출했다. 김 소장은 이날 해당 초안을 최초로 공개했다. 이는 최소 권한 부여, 감사 가능성, 단계적 배포, 다중 에이전트 안정성, 중단 가능성(킬 스위치), 인간의 감독 등 설계부터 운영까지 전 단계를 아우르는 10가지 위험 완화 원칙이다.

AI안전연구소(AISI)가 AI 에이전트를 안전하게 활용할 수 있는 원칙 8가지를 제시했다. <사진=고민서 기자>

김 소장은 “주식 에이전트가 멋대로 베팅하거나 카드를 마구 긁어내는 상황이 오면 즉시 중단시킬 수 있어야 한다”며 중단 가능성과 중요한 결정 시점의 인간 개입을 특히 강조했다. 아울러 그는 “지금의 원칙은 모두 초기 단계여서 계속 바뀔 것”이라면서도 “결국 에이전트 환경에서 표준이 자리 잡고, 그 표준을 중심으로 검증 체계가 구축되는 방향으로 갈 것”이라고 내다봤다.

현장에선 아직 출시되지 않은 앤스로픽의 차세대 보안 특화 모델 ‘미토스’와 이를 중심으로 한 국제 보안 공조 체계 ‘프로젝트 글래스윙’에 대한 질의도 이어졌다. 현재 정부 주도로 이뤄지고 있는 글래스윙 합류 타진을 AISI와 KISA가 주도하고 있는 만큼 김 소장은 다소 신중한 입장임을 밝혔다. 그는 “미국 정부가 타 국가 참여를 통제하고 있어 쉽지 않은 분위기”라면서도 “공개된 하위 버전을 통해 신속하게 취약점을 찾아 보강하는 작업이 진행되고 있다”고 답했다.

이재형 KISA AI신기술대응팀장은 ‘에이전틱 AI 위협에 대비한 AI 보안 정책 연구’를 주제로 에이전틱 AI 확산과 함께 위협이 현실화되고 있는 시점에서 이에 대비한 국내외 AI 보안 관련 정책 동향과 연구를 설명했다. <사진=고민서 기자>

“보안 없는 AI는 자동화된 리스크 생성기”

가이드라인이 다루는 위협이 현실에서 어떻게 번지는지는 이재형 KISA AI신기술대응팀 팀장이 이어받았다. 그는 “2000년대 디지털 트랜스포메이션(DX) 시대가 ‘어떤 시스템을 도입할 것인가’의 문제였다면, AI 시대는 ‘AI에게 어디까지 업무를 맡길 것인가’라는 조직 구조 재설계의 문제”라며 “AI가 업무 실행의 주체가 되는 만큼, 보안을 고려하지 않은 AI는 자동화된 리스크 생성기가 될 수 있다”고 경고했다. 코딩을 모르는 일반인도 AI를 활용해 공격자가 될 수 있고, 직원이 승인 없이 에이전트를 임의로 쓰는 ‘섀도 에이전트’가 새로운 내부자 위협으로 부상했다는 진단이다.

특히 개인 PC 권한을 통째로 에이전트에 맡기는 환경에 대해 이 팀장은 “개인 데이터 접근, 외부 통신, 신뢰되지 않은 콘텐츠 활용이라는 보안 위험 3요소를 모두 갖췄다”고 지적했다.

이와 관련해 KISA는 지난해 12월 개발자·서비스 제공자·이용자를 위한 ‘AI 보안 안내서’를 발표한 데 이어, 올해는 에이전트 보안 위협을 중심으로 이를 고도화할 계획이다. 또 AI와 제로트러스트를 결합한 ‘AI 제로트러스트 성숙도 모델’ 연구결과도 연내 발표할 예정이다.

이한울 에임인텔리전스 부사장이 에이전틱 AI의 공격 표면이 빠르게 확장하는 가운데 에이전틱 AI가 만들어내는 새로운 공격 표면들과 공격 전략, 기업의 방어 방안을 제시했다. <사진=국제인공지능윤리협회>

“권한 안에서 일어난 사고, 기존 체계론 역부족”

AI에 대한 권한 위임이 보안 사고의 핵심으로 지목되는 가운데 이한울 에임인텔리전스 부사장은 최근 허락된 자율성 범위 안에서 합리적 추론을 거치던 에이전트가 단 9초 만에 기업의 핵심 프로덕션 DB와 3개월치 백업을 영구 삭제한 ‘Pocket OS 사건’을 언급하며 이것이 과거 보안 사고와 본질적으로 다른 이유를 짚었다.그는 “사람을 중심으로 설계된 기존 접근통제·권한 분리 모델이 에이전트 환경에선 작동하지 않는 사례가 많다”며 권한을 가진 주체가 어디까지 스스로 결정하고 행동할 수 있는지를 설계 단계부터 정의하는 ‘리스트 에이전시(least agency)’ 원칙으로의 전환을 제안했다.

기존 보안 모델이 시스템에 누가 접근할 수 있는가와 그 주체가 어떤 자원에 닿을 수 있는가를 통제하는 등 사용자와 서비스 계정처럼 행동의 의도가 비교적 정적인 주체에 대해 잘 작동하는 구조라면, 현재 AI 시대에 필요한 리스트 에이전시는 접근 권한을 가진 주체가 그 권한을 갖고 어디까지 스스로 결정하고 행동할 수 있는가를 통제할 수 있는 보안 모델이라는 설명이다.

특히 이 부사장은 공격용 에이전트 20여 개를 한꺼번에 띄워 표적을 동시다발로 공략하는 ‘AI 에이전트 스웜’ 방식이 빠르게 확산되고 있다는 점을 우려했다.

이 부사장은 “텍스트만 입출력하던 거대언어모델(LLM)이 코드를 실행하고 인프라에 접근하는 방향으로 진화하면서 공격 표면도 함께 넓어졌다”고 설명했다. 대응책으로 그는 에이전트 행동을 꼭 필요한 범위로 제한하는 ‘미니마이저’, 입력 환경을 안전하게 정제하는 ‘새니타이저’ 등 신기술과 주기적인 레드티밍(모의 취약점 공격)을 제시했다. 이 부사장은 “기업의 관리, 정부의 규제·표준, 사회적 관심이 맞물릴 때 비로소 에이전트 AI의 핵심인 ‘에이전시’를 통제 가능한 범위 안에서 활용할 수 있다”고 강조했다.

강병탁 AI 스페라 대표가 ‘미토스’ 이후 AI 기반 공격이 대중화된 시대에 공격 표면과 위협 인프라 식별·대응에 대한 기업 측면의 해법을 제시했다. <사진=국제인공지능윤리협회>

“한국형 미토스? 중요한 건 AI 해킹 막을 방패 ”

강병탁 AI스페라 대표는 정부의 사이버 보안 대책을 비판했다. 그는 고성능 공격 AI에 맞설 ‘AI를 만들자’는 쪽으로 정책 초점이 쏠린 데 대해 “정작 시급한 것은 그 공격을 막을 ‘경찰’을 만드는 일”이라며 방향 전환을 촉구했다.

강 대표가 가장 위험하게 본 것은 AI 성능 자체가 아니라 ‘자동화가 곧 대중화로 이어진다’는 점이다. 게임 핵 자동화 툴이나 SQL 인젝션 자동화 도구가 전문 지식 없는 사람도 공격에 가담하게 만들었던 전례가 AI 시대에 더 큰 규모로 반복되고 있다는 것이다. 그는 취약점 발견부터 실제 공격까지 걸리는 시간이 과거 평균 63일에서 AI 시대 들어 5시간으로 단축됐다는 분석을 인용하며 “취약점 뉴스가 나오자마자 서버 로그를 열어보면 이미 공격 흔적이 들어와 있다”고 말했다.

해법으로는 공격 표면 관리(ASM)를 제시했다. 가정용 웹캠과 중소기업 CCTV, 수명이 끝난 레거시 장비, 비밀번호가 허술한 관리자 페이지처럼 인터넷에 방치된 취약 자산을 실시간으로 찾아내 점검하는 것이 가장 현실적인 대응이라는 것이다.

강 대표는 또 “바이브 코딩으로 만든 시스템은 중복 코드와 구조적 결함이 많아 운영 환경에 그대로 올리면 거대한 시한폭탄”이라며 숙련된 인력의 재점검이 반드시 필요하다고 봤다. 보안 자동화에 대해서도 “패치 과정에서 장애가 나면 책임 소재 문제가 불거지기 때문에 마지막 판단은 결국 사람의 몫”이라며 완전 자동화의 한계를 함께 짚었다.

아울러 그는 “중요한 것은 한국형 미토스가 아니다”면서 “대중화된 해킹 시대엔 결국 어떻게 막을 것인가에 대한 근본적인 질문, 즉 수비형 AI에 대한 심도 있는 대응이 필요하다”고 제언했다.

김동환 포티투마루 대표(왼쪽)는 에이전틱 AI가 실제 업무 환경에서 보다 안정적으로 작동하기 위해 필요한 신뢰성 요소를 중심으로 기업이 고려할 안전성과 윤리성 확보 방안을 소개했다. 김연지 데이븐 AI CMO(오른쪽)는 생성형 AI가 에이전트로 진화하는 흐름 속에서 창작 AI 플랫폼의 신뢰 구축과 책임 설계 방향에 대한 전략을 공개했다. <사진=국제인공지능윤리협회>

“AI 범인증체계, 먼저 만드는 쪽이 표준 선점”

김동환 포티투마루 대표는 신뢰 가능한 AI를 위한 거버넌스와 제도의 역할을 짚었다. 그는 “보안 시스템을 갖추는 데 그치지 않고 경영진과 리더가 의지를 갖고 지속적으로 고민하고 실행해야 한다”며 “특히 정부 차원의 AI 윤리·안전 가이드라인이 잘 마련돼 있는데도 현장에서는 이를 모르는 경우가 많아 시장에 적극 알리는 노력이 필요하다”고 지적했다.

특히 AI 인증 체계의 국가 간 상호인정 구조가 시급하다고 강조했다. 김 대표는 “범인증 체계는 우리만 만든다고 되는 것이 아니라 국가 간 상호인증으로 이어져야 하는데, 아직 어느 나라에도 명확한 기준이 없다”며 “북미는 진흥, 유럽은 규제로 방향 자체가 다르다”고 설명했다. 그는 이어 “해외 진출 기업은 국내 인증 시스템을 갖추고도 해외에 나가면 각국마다 별도 인증을 다시 받아야 하는 비효율을 겪는다”며 “따라서 먼저 범인증 체계를 만드는 쪽이 글로벌 표준을 선점할 것이고, 국가 상호인정 시스템을 빠르게 구축해 나가면 국내 AI 스타트업과 대기업의 해외 진출에도 큰 힘이 될 것”이라고 강조했다.

“신뢰는 결과물 아닌 창작 과정의 투명성에서”

김연지 데이븐AI 최고마케팅책임자(CMO)는 신뢰의 문제를 창작 영역에서 진단했다. 그는 “AI가 오류를 내거나 허위 정보를 생성했을 때 ‘AI가 한 것’이라는 말로는 책임을 피할 수 없다”며 “신뢰는 결과물이 아니라 창작 과정의 투명성에서 시작된다”고 강조했다.

그러면서 김 CMO는 데이븐AI의 경우 블록체인 기반의 저작 증명과 사람이 개입하는 ‘휴먼 인 더 루프’ 워크플로우 및 모델이 바뀌어도 개인정보·저작권·혐오 표현 등 기준을 일관되게 적용하는 플랫폼 차원의 공통 가드레일로 신뢰를 설계한다고 밝혔다.

한편 IAAE 부회장사이자 이번 컨퍼런스를 후원한 팀쿠키의 임기태 부대표는 “신뢰가능한 AI 구현 전략과 실행 사례를 진단해본 의미 있는 시간이었다”고 평가했다. 전창배 IAAE 이사장도 “AI 에이전트의 진정한 가치는 ‘에이전트가 얼마나 똑똑한가’가 아니라, ‘얼마나 안전하고 신뢰할 수 있는가’에서 판가름 날 것”이라며 “ASC 컨퍼런스가 AI 에이전트라는 거대한 변화의 물결 속에서 우리 사회와 기업이 나아갈 나침반이 되길 바란다”고 강조했다.