보안 취약점 찾아도 못 고치는 AI···'검증된 수정'은 여전히 인력 의존 커

오픈AI “탐지 건수보다 검증된 수정까지 걸리는 시간 중요”···최소 권한·중단 체계 강조
방화벽 넘어 AI 모델도 보호 대상으로···학습데이터 추출·기업정보 유출 우려 확대

인공지능(AI) 에이전트가 보안 취약점을 찾아내는 속도는 빨라지고 있지만 발견한 취약점을 검증하고 수정해 서비스에 적용하는 속도는 이를 따라가지 못하고 있다는 지적이 나온다. 취약점을 얼마나 많이 찾느냐보다 탐지한 문제를 '검증된 수정'으로 연결하는 역량이 기업 보안의 새로운 병목으로 떠오르고 았다. / 사진=생성형AI(챗GPT) 이미지

[시사저널e=김도영 기자] 인공지능(AI) 에이전트가 보안 취약점을 찾아내는 속도는 빨라지고 있지만 발견한 취약점을 검증, 수정하는 속도는 이를 따라가지 못하고 있다는 지적이 나온다. 취약점을 얼마나 많이 찾느냐보다 탐지한 문제를 '검증된 수정'으로 연결하는 역량이 기업 보안의 새로운 병목으로 떠오르고 있다.

18일 관련업계에 따르면 보안 공격자와 방어자 모두 AI를 활용하면서 취약점을 찾아내는 속도는 빨라졌지만 검증·수정·시험·배포를 담당하는 인력과 절차는 이를 따라가지 못하고 있다. 고영명 포항공과대학교(포스텍) 산업경영공학과 교수는 "AI 도움을 받아 취약점을 찾고 일부 대응할 수 있지만 검증하고 패치로 연결하는 작업은 여전히 사람에게 의존하는 상황"이라며 "사람이 최종적으로 제대로 방어했는지 확인해야 해 시간이 오래 걸릴 수밖에 없다"고 지적했다.

AI 에이전트는 소스코드와 시스템 로그, 네트워크 활동을 대규모로 분석해 사람이 놓치기 쉬운 이상징후와 취약점을 찾아낼 수 있다. 여러 에이전트가 작업을 나눠 코드를 분석하거나 실제 공격 경로를 시험하면서 기존 보안 도구보다 넓은 범위를 빠르게 점검하는 것도 가능하다.

그러나 탐지 결과가 곧바로 패치로 이어지는 것은 아니다. 보안 담당자가 AI가 찾아낸 문제가 실제 공격에 활용될 수 있는 취약점인지 검증하고 중요도와 수정 순서를 판단해야 한다. 수정안을 적용한 뒤 기존 서비스와 생산 시스템이 정상적으로 작동하는지도 다시 시험해야 한다. 영향이 큰 시스템일수록 내부 승인과 배포, 장애 발생 시 복구 절차까지 거쳐야 한다.

패치 작성과 시험에 AI 에이전트를 활용할 수 있지만 관련 작업은 여전히 인력 의존도가 높다는 게 고 교수의 설명이다. AI 에이전트가 도입 초기 단계인 데다 최종 판단과 책임을 사람에게 맡길 수밖에 없어서다. 발견된 지점만 수정하면 다른 경로로 같은 문제가 발생할 수 있어 연결된 시스템과 추가 취약점도 살펴야 한다. 패치로 새로운 오류가 생기거나 기존 기능이 멈추지 않는지도 검증해야 한다.

고 교수는 "한 번 뚫린 뒤에는 해당 부분 외에 다른 취약점이 있는지 모두 확인하고 수정안을 적용한 뒤 다시 테스트해야 한다"며 "원래 방어가 공격보다 훨씬 어렵다"고 설명했다. 탐지되는 취약점은 늘어나는데 이를 처리할 인력과 절차가 그대로라면 미해결 문제만 쌓일 수 있다는 의미다.

기업의 기존 시스템에 AI 에이전트를 연결하는 과정도 위험을 키운다. 상당수 기업이 새로운 시스템을 별도로 구축하기보다 기존 데이터베이스와 업무용 소프트웨어, 생산설비에 에이전트를 연동한다. 오래된 시스템에 남아 있던 취약점이 에이전트의 접근 권한과 결합하면 공격 범위가 이전보다 넓어질 수 있다.

고 교수는 "현재 구현되는 AI 에이전트는 레거시 시스템과 연동해 개발되는 경우가 많아 취약점도 그 과정에서 발생할 수 있다"며 "에이전트 도입 초기인 만큼 기업이 기능 구현에 초점을 두고 보안에는 상대적으로 관심을 덜 두는 상황"이라고 진단했다. 학계의 보안 연구가 산업 현장에 적용되기까지 시간이 걸리는 데다 기업도 사고가 발생한 뒤 대응에 나서는 경향이 있다고 지적했다.

◇ 오픈AI "보고서 아닌 검증된 수정이 성과"

이에 따라 업계에선 취약점 탐지 자동화에만 초점을 맞추기보다 검증과 수정, 재시험까지 연결할 보안 인력과 대응 절차를 함께 확보해야 한다는 목소리가 나온다. AI 에이전트를 도입하는 기업은 기능 설계 단계부터 접근 대상과 권한, 사람의 개입 시점, 중단 조건을 구체적으로 정해야 한다는 것이다.

이상현 오픈AI 아시아태평양 글로벌 어페어스 총괄은 이날 서울 코엑스에서 열린 '사이버 서밋 코리아(CSK) 2026'에서 "AI를 도입한 뒤 발견되는 취약점은 크게 늘었는데 이를 검토하고 수정하는 인력과 절차가 그대로라면 보고서는 늘어나지만 해결되지 않는 문제만 쌓이게 된다"며 "어느 단계에서 일이 막히는지 확인하고 그다음 단계까지 함께 개선해야 한다"고 말했다.

이 총괄은 방어 역량을 취약점 탐지 건수가 아닌 '검증된 수정까지 걸리는 시간'으로 평가해야 한다고 강조했다. 취약점의 존재와 중요도를 판단하고 수정안을 만들어 시험한 뒤 안전하게 적용해 서비스의 정상 작동까지 검증해야 방어가 완료된다는 설명이다. 병원과 전력시설, 금융기관처럼 패치 자체가 서비스에 영향을 줄 수 있는 곳은 장애가 발생했을 때 이전 상태로 되돌리는 절차도 갖춰야 한다.

AI 에이전트에는 업무 수행에 필요한 최소한의 권한만 부여해야 한다고 조언했다. 코드의 취약점을 찾는 에이전트에는 읽기 권한이 필요하지만 운영 시스템을 변경하거나 직접 배포할 권한까지 줄 필요는 없다는 것이다. 행동 기록과 접근 권한 회수, 비상 중단 절차를 마련하고 기관 간 핫라인을 구축해 이상징후와 조치 내용을 신속하게 공유해야 한다고 강조했다.

◇ 방화벽 밖으로 나온 기업 데이터···모델 자체도 보호 대상

AI 보안의 범위도 점차 넓어지고 있다. 기존에는 데이터베이스를 방화벽 안에 두고 접근 권한을 제한하는 방식으로 기업 정보를 보호했지만, AI 모델이 서비스를 제공하기 위해 외부 이용자와 상호작용하는 과정에서 학습데이터가 반영된 모델 자체가 새로운 정보 유출 경로가 될 수 있다는 것이다.

기업 내부 문서와 생산 데이터로 AI를 학습시키면 원본 자료에 대한 접근을 차단하더라도 해당 정보가 모델에 반영된다. 공격자가 반복적으로 질문하거나 특정 입력을 넣어 학습데이터 일부를 복원하는 방식으로 내부 정보를 추출할 가능성도 있다. 데이터베이스뿐 아니라 학습을 마친 모델까지 보호 대상으로 관리해야 하는 이유다.

고 교수는 "예전에는 데이터를 모아두고 방화벽으로 보호하면 된다고 생각했지만 이제는 모델 자체에 학습데이터가 녹아 있다"며 "물리적으로 데이터베이스에 접근하지 않아도 모델을 통해 정보를 추출할 수 있는 새로운 경로가 생긴 것"이라고 말했다. 이어 "앞으로 더 많은 데이터가 AI 학습에 활용되는 만큼 모델에 녹아 있는 정보를 보호하는 일이 생각보다 훨씬 어려운 문제가 될 것"이라고 강조했다.