해킹하는 AI vs 막아내는 AI…차세대 보안 ‘창과 방패’ 경쟁

정부, AI 통제·방어 기술 동시 강화
에이전틱·피지컬 AI 보안 기준 마련
AI 권한 오남용·오작동 대응 본격화
보안 특화 AI·자율형 플랫폼 추진
금융·의료·제조 확산에 현실 피해 우려

사진=챗GPT 제작

스스로 판단하고 외부 시스템까지 실행하는 에이전틱 AI가 확산하면서 AI가 공격 수단으로 악용될 위험도 커지고 있다. 반면 AI는 방대한 보안 로그와 이상 징후를 분석해 공격을 막는 핵심 수단으로도 떠오르고 있다. 향후 현실 세계를 공유하는 피지컬 AI가 본격 상용화하면 보안 위협이 정보 유출을 넘어 실제 물리적 피해로 이어질 수 있다는 우려도 나온다. 이에 정부는 AI 자체를 안전하게 통제하는 기술과 AI를 방어 수단으로 활용하는 기술을 동시에 키우고 있다.

15일 정보기술(IT) 업계에 따르면 과학기술정보통신부와 산하기관들은 차세대 AI 보안 기준 마련과 사이버보안 특화 AI 파운데이션 모델, AI 기반 자율형 보안 운영 플랫폼, AI 생태계 보안내재화 연구개발(R&D) 등을 동시에 추진하고 있다. AI를 활용해 위협을 탐지·분석·대응하는 ‘AI for Security’와 AI 자체의 권한과 행동을 안전하게 통제하는 ‘Security for AI’를 함께 키우는 투트랙 전략이다.

AI에이전트 보안 안내서 개발… AI 통제로 위험 예방

대표적인 ‘Security for AI’ 사례는 한국인터넷진흥원(KISA)이 개발 중인 ‘AI 보안 안내서 v2.0’이다. KISA는 차세대 AI를 에이전틱 AI와 피지컬 AI로 규정하고 AI 실행 권한 오남용, 센서 교란, 물리적 오작동, 자율 의사결정 검증 등을 새로운 보안 과제로 제시했다. 개발자에게는 AI가 사용할 수 있는 권한과 접근 범위를 제한하고 판단·행동 기록을 남기도록 하고, 서비스 제공자에게는 AI의 실행을 중간에서 통제하고 사고 발생 시 책임을 추적할 수 있는 체계를 마련하도록 할 계획이다. 이용자에게는 AI에 맡길 권한을 설정하고 고위험 행동은 별도의 승인을 거치도록 하는 절차를 제시한다. 통신·의료·제조 등 산업별 위협 시나리오를 만들어 개념검증(PoC)도 진행한다.

정부가 ‘AI 통제’에 나서는 것은 보안 위협의 성격 자체가 달라지고 있어서다. 기존 생성형 AI에서는 개인정보나 기업 기밀 유출, 잘못된 답변 등이 주요 위험으로 꼽혔다. 하지만 에이전틱 AI가 기업과 공공기관 업무 시스템에 들어오면서 AI에 부여된 권한 자체가 새로운 공격 지점이 되고 있다.

실제 클라우드보안연합(CSA)이 올해 기업들을 조사한 결과 응답자의 82%는 조직 내부에서 파악하지 못한 AI 에이전트가 존재한다고 답했고, 65%는 최근 1년간 AI 에이전트 관련 보안 사고를 경험했다고 밝혔다. 사고 경험 기업 가운데 61%는 데이터 노출, 43%는 업무 차질, 35%는 금전적 손실을 겪었다.

AI가 통제 범위를 벗어나 행동한 사례도 나타나고 있다. 올해 오픈AI가 개발한 AI 에이전트들이 보안 실험 과정에서 허용되지 않은 외부 웹사이트를 이용해 서로 통신한 사실이 확인됐다. 이달 공개된 GPT-6 Astra는 오픈AI 평가에서 사이버보안 역량이 ‘크리티컬(Critical)’ 수준에 도달한 첫 모델로 분류됐다. 오픈AI는 이에 따라 개발 과정에서 격리 환경과 네트워크·도구 접근 제한, 모니터링 등 보호조치를 강화했다.

문제는 이런 AI가 금융·의료·제조 현장으로 들어갈수록 피해 규모가 커질 수 있다는 점이다. 금융에서는 고객 정보 조회와 결제·송금 시스템, 의료에서는 환자 정보와 의료기기, 제조에서는 생산설비까지 AI와 연결될 수 있다. AI 계정이 탈취되거나 필요 이상의 권한을 갖게 되면 정보 유출을 넘어 잘못된 업무 실행, 서비스 장애, 설비 오작동으로 이어질 수 있다.

방패가 된 AI: AI 에이전트로 보안 위협 탐지 총력

반대로 공격이 AI로 자동화·고도화되는 만큼 방어에도 AI가 필요하다. 정부가 사이버보안 특화 AI 파운데이션 모델과 자율형 보안 운영 플랫폼을 함께 추진하는 이유다. 사이버보안 특화 AI 파운데이션 모델은 일반 범용 AI가 아니라 사이버보안 분야에 특화된 독자 AI 모델을 개발해 국내 보안 AI 기술 역량을 축적하고 보안 산업의 AX 전환을 촉진하기 위한 사업이다. 과기정통부와 정보통신산업진흥원(NIPA)이 추진하고 있다.

자율형 보안 운영 플랫폼은 AI 에이전트가 보안 위협 탐지와 분석, 대응을 자동으로 수행하도록 하는 사업이다. 정부는 지난 5월 120억4000만원 규모의 정보보호 신기술 지원사업을 통해 18개 과제와 수행기업 50개사를 선정했으며, 이 가운데 로그프레소·모니터랩·샌즈랩·테이텀이 참여하는 ‘에이전틱 AI 기반 자율형 통합보안 운영 플랫폼’도 포함됐다.

서지혜 기자 wise@sedaily.com