[2025 AI 보안 솔루션 리포트] AI 보안 솔루션, 능동형 AI와 XAI로 진짜 AI가 되다
보안 담당자 업무는 늘어나지만, 정작 보안 인재는 부족한 현실, AI가 대안으로 떠올라
AI 보안 솔루션에 대한 사용자 설문조사...AI 보안 솔루션 도입 위해선 ‘성능 비교 자료’ 필요
Mini Interview: 권태경 한국정보보호학회 AI보안연구회 위원장
[보안뉴스 원병철 기자] LLM의 등장 이후 인공지능(AI: Artificial Intelligence)은 폭발적인 변화와 증가를 겪게 됐다. 특히 사람이 오랜 시간 걸리는 일을 쉽고 빠르게 할 수 있도록 도와주면서 여러 방면에서 AI의 활용이 늘어났다. 이는 사이버보안에서도 마찬가지였다. 발 빠른 사이버 공격자들이 사이버 공격에 AI를 활용하기 시작했고, 실질적인 보안 위협으로 다가왔다. 반대로 대응하는 방법에 AI를 접목하는 이들도 생겨났다. 역시 사람이 처리하기 어려운 대규모의 데이터를 실시간으로 분석하고 패턴을 학습해 기존 보안 솔루션의 한계를 극복하게 도와줬다. 그렇다면 보안기업들은 이러한 AI의 도입을 어떻게 이뤄내고 있을까?
최근 팀뷰어는 자동으로 운영되는 IT 지원을 제공하는 지능형 에이전트를 발표했다. 이 에이전트는 IT 문제의 발견부터 해결, 예방하는 방식까지 혁신할 수 있도록 설계된 지능형 에이전트다. 보조적AI를 넘어 능동적으로 문제를 해결하는 지능형 에이전트인 것이다. 이러한 움직임은 보안에도 적용이 가능하다.
AI, 능동형 AI와 XAI로 발전하다
최근 AI는 기존 AI의 단계를 뛰어넘은 새로운 방향으로 발전하고 있다. 능동적 AI(Active AI) 혹은 에이전트 AI(Agent AI)라 불리는 AI들은 사용자가 물어보는 것에 답해주는 수동적 반응을 넘어 스스로 주도권을 갖고 행동하는 것이 특징이다. 특히 능동적 AI는 정해진 규칙에 따라 움직이는 것이 아닌, 환경을 인지하고 추론하며 다음 단계를 스스로 결정해 실행한다.
사이버보안에서도 이러한 능동형 AI를 이용한 움직임이 포착됐다. 최근 가트너(Gartner)가 발표한 ‘2026년을 이끌 10대 전략 기술 트렌드’에서 언급한 ‘선제적 사이버보안(Preemptive Cybersecurity)’은 공격이 발생하기 전에 AI 기반 분석과 기만전술, 자동화를 활용해 위협을 선제적으로 탐지하고 대응하는 것을 말한다.
XAI(eXplainable AI: 설명 가능한 AI)는 AI의 또 다른 발전 방향이다. XAI는 AI가 내린 결정이나 근거, 작동 방식, 이유 등을 인간이 이해할 수 있는 언어와 방식으로 설명하는 AI를 말한다. AI의 내부 작동 방식을 전문가가 아니면 알아보기 힘들어서(이를 블랙박스라고 한다) AI의 신뢰도를 높이고, 문제 발생 시 책임소재를 명확하게 하기 위해서 시작됐다. 즉, LLM 이후 폭발적으로 AI의 활용이 늘어났지만, 사람들은 AI가 내놓은 결괏값만 사용할 뿐 어떻게 그러한 결괏값을 만들었는지는 알지 못한다. 따라서 AI가 제시한 답에 대한 근거가 필요한 사람이나 조직은 어떻게 그러한 결과가 나왔는지 궁금해했고, 일반적인 사람들도 이해할 수 있도록 설명이 필요해졌기 때문에 XAI가 등장한 것이다.
XAI도 보안 솔루션에 접목되고 있다. 주로 위협을 탐지하거나 분석하는 과정에 적용해 어떤 이유로 그런 판단을 내리고 동작했는지를 설명해준다. 이를 통해 수많은 경보에 시달리는 SOC의 보안 분석가들에게 도움을 주거나, 오탐의 판단 근거를 분석해 해당 오탐을 제외해 줄여주기도 한다.
보안기업들, AI 도입해 구체적 성과 거둬
보안업계에서 AI의 도입은 생각보다 일찍 이뤄졌다. 빠르게 고도화하는 사이버 위협에 효율적으로 대응하기 위해 AI를 선택한 것이다. 작게는 기존 보안 솔루션의 성능을 강화하고 사용자를 보완하기 위해 사용됐다면, 크게는 보안 운영 전반을 지능화하고 기존 보안 체계의 한계를 극복하기 위한 핵심 기반 기술로 기대하고 있다.
엑스큐어넷은 “AI는 단순히 최신 기술을 제품에 추가하는 수준이 아닌, 정적인 방어의 틀을 깨고, 데이터의 맥락과 사용자의 의도를 이해하는 지능형 보안을 구현하고자 한다”라고 설명했다.
모니터랩 역시 “기존 보안 기술을 고도화하기 위한 수단이 아닌, 보안 운영 전반을 지능화하고 일관된 통합 보안 체계를 구현하는 핵심 기술”이라고 AI를 표현했다. 이를 통해 고객에게 더 높은 탐지 정확도, 더 빠른 대응 속도, 자동화된 운영까지 포함된 지능형 통합 보안 환경을 제공하겠다고 설명했다.
또한 보안기업들은 AI를 도입해 얻을 수 있는 구체적인 성과에 대해서도 언급했다. AI스페라는 “AI 기반의 위협 인텔리전스와 자동화된 공격 표면 기술을 접목함으로써 보안 담당자가 없는 기업이라도지속 가능한 보안 운영 기반을 다질 수 있는 기틀을 제공할 수 있을것”이라고 강조했다.
시큐리온은 “AI 기술을 기반으로 한 자동분석 시스템으로 악성 여부와 위험도를 AI가 판단해주고, 우회 앱에 대한 탐지 분석도 자동화했다”라면서, “AI 기술이 도입되면서 분석이 자동화돼 분석가들의 업무 시간과 개별 역량에 대한 의존도를 낮춰 업무를 효율화할 수 있다”라고 설명했다.
이글루코퍼레이션은 “2015년부터 보안에 특화된 분류형·설명형·생성형 AI 기술 확보에 노력한 끝에 2018년 사실상 업계 최초의 AI 보안관제 시스템이라 할 수 있는 ‘대구 AI 기반 지능형 보안관제 체계(D-Security)’를 구축해 AI 보안의 효율성을 증명했다”라고 설명했다.
AI와 보안 솔루션의 만남, 양질의 학습 데이터 확보가 가장 문제
그렇다면 실제 보안기업들이 AI를 도입하면서 가장 어려웠던 것은 무엇일까? 안랩은 AI를 보안 솔루션에 적용한다는 것은 사람의 업무를 AI가 대신 수행하는 자동화의 확장을 넘어, 기존 보안 운영업무방식에 AI를 본격적으로 도입해 조직 전반을 혁신하는 AX(AI Transformation)의 방향으로 가는 것 같다고 설명했다. “AI가 보안 운영의 핵심 역할을 하게 되므로, 데이터화 및 프로세스 전환, 비용 구조 등 기존 업무의 혁신 과정에서 겪었던 어려움과 고민이 동일하게 발생하는 것 같습니다.”
앞서 설명했던 블랙박스의 문제도 제기됐다. AI가 내린 판단에 대한 근거를 확보하지 못하면 그 결과를 신뢰할 수 없고, 그럼 AI 판단을 기반으로 한 대응 조치를 수행하기 망설여진다고 시큐레이어는 설명했다. AI의 결정을 신뢰하고 수용하게 만드는 ‘설명 가능성’을 확보하는 것이 매우 어려웠다는 것이다.
AI의 가장 기본인 ‘데이터’에 대한 고민도 나왔다. 싸이버원은 “데이터의 품질과 라벨링의 문제 해결이 가장 시급하다”라고 말했다. 다양한 보안장비와 시스템에서 발생하는 로그 포맷이 제각각이고, 실제 공격과 오탐이 섞여 있는 환경에서 AI 학습과 검증에 활용할 수 있는 데이터넷을 만드는 데 상당한 시간이 소요됐다는 설명이다.
모니터랩 역시 “AI 모델은 어떤 데이터로 학습하느냐에 따라 성능이 크게 좌우되는데, 보안 데이터는 파일, 로그, IP, URL 등 종류가 많고 출처에 따라 품질 편차도 크기 때문에 신뢰할 수 있는 데이터를 선별하고 정제하는 데 상당한 시간과 노력이 필요하다”라고 설명했다. 게다가 수집된 데이터가 실제 위협인지, 오탐은 아닌지, 최신 공격 흐름을 반영했는지 등 세밀하게 검증하는 과정도 도전 과제였다고 덧붙였다.
엑스큐어넷도 “우리는 기업의 대외비 문서, 소스코드, 설계도와 같은 민감한 정보를 다루는데, 이러한 데이터를 유출 위험 없이 안전하게 익명화하면서도 AI 모델이 학습할 수 있는 핵심적인 의미와 특징은 보존해야 하는 것은 매우 어려웠다”라고 고품질 학습 데이터셋을 구축하는 것의 어려움을 강조했다.
AI와 보안 솔루션의 만남, 수동 대응에서 지능화·자동화 체계로 진화
그렇다면 현재 보안 솔루션의 AI 접목은 어느 정도까지 이뤄졌을까? 업계에 따르면 초기에는 악성 파일 탐지와 반복 업무 자동화에 국한됐으나, 2020년 이후 생성형 AI와 LLM의 등장으로 질의응답, 번역, 설명 등 다양한 영역으로 빠르게 확장되고 있다. 최근에는 자율 보안 운영 에이전트와 추론형 AI의 등장으로 계획 수립, 자료 분석, 결과 보고서 작성까지 가능한 수준으로 발전하고 있다는 설명이다. 안랩은 이러한 변화는 자율 보안 운영체계 구축으로 이어지며 관리자의 개입을 최소화해 오류를 줄이고, AI가 보안 운영의 핵심을 맡는 방향으로 진화하고 있다면서, 안랩 역시 탐지 중심에서 나아가 멀티모달 분석, 대화형 보안 운영, 자동 리포트 생성 등 보안 업무 전반의 생산성 향상을 지원하고 있다고 덧붙였다.
좀 더 구체적으로 살펴보면, △악성 URL 탐지 분야에서는 자바스크립트 코드의 악성 여부 분석, 피싱 사이트와의 유사도 비교 등에 AI가 사용되고 있다. 정적 특징뿐 아니라 페이지 구조와 행동 패턴까지 종합해 위험도를 평가하는 방식으로 발전하고 있다. △악성 파일 분석 분야에서도 AI 역할이 점차 강화되고 있다. 파일 간 악성코드 유사도 분석, 동적 행위 기반의 악성 여부 판별, 랜섬웨어와 같은 특정 행위 발생 가능성 예측 등 기존 시그니처 중심 방식에서 한 단계 진화한 탐지가 가능해졌다. △시큐어 웹 게이트웨이 분야에서는 웹 페이지 카테고리 자동 분류, 유해 사이트 판별 등에서 AI의 적용이 고도화됐다. 다양한 언어와 구조를 가진 웹사이트를 빠르게 분석하며, 기존 키워드 매칭에 비해 높은 정확도를 제공하고 있다. △웹 공격 탐지 분야에서는 다양한 페이로드와 공격 패턴을 학습해 새로운 공격 가능성을 예측하는 데 활용되고 있으며, 정형, 비정형 로그를 모두 분석해 공격 흐름을 추론하는 기능으로 확장되고 있다.
모니터랩은 “지금까지는 악성 여부를 판단하거나 의심 행동을 탐지하는 데 AI가 주로 활용됐다면, 이제는 공격을 사전에 예측하고, 대응을 자동으로 수행하는 수준으로 발전할 것”으로 전망하면서, “향후에는 AI가 보안 기능의 일부가 아니라 탐지, 분석, 대응을 아우르는 통합 운영의 중심 기술로 자리잡게 될 것”이라고 예측했다.
시큐레이어는 “초기 AI가 머신러닝이나 UEBA를 통해 비정상 행위 탐지에 집중했다면, 현재는 그 범위가 보안관제 업무 전반으로 확장됐다”라고 설명했다.
△탐지·분류 단계에서는 딥러닝 및 LM(언어 모델)을 활용해 기존 룰 기반으로는 식별이 어려웠던 신종·변종 위협을 문맥 기반으로 정밀하게 탐지하고 분류한다. △분석·지원 단계에서는 생성형 AI(LLM / RAG) 기술이 접목돼 분석가가 자연어로 분석 정보를 검색하고, 보안 로그를 자동 요약하고, 보안 전문 지식(MITRE ATT&CK, CVE 등)과 연계해 위협을 분석한다. 아울러 분석가의 자연어 질의에 답하고(AI 어시스턴트) 대응 보고서를 자동으로 생성한다. △신뢰·검증 단계에서는 XAI(설명가능한 AI)가 AI가 특정 위협을 ‘왜’ 탐지했는지 판단 근거를 시각적으로 제공해, 분석가의 신뢰를 확보하는 단계까지 이르렀다. 마지막 △자동화·최적화 단계에서는 AutoML 및 강화 학습을 통해 AI 모델 생성 과정을 자동화하고, 운영자의 피드백을 지속적으로 학습해 모델 성능을 최적화한다.
시큐레이어는 “AI 접목은 단순히 기능을 추가하는 수준을 넘어, 보안 운영의 패러다임 자체를 ‘사람 중심의 수동적 대응’에서 ‘AI 중심의 지능화ㆍ자동화 체계’로 전환하는 단계에 와있다”라고 설명했다.
자연어 동작과 통합으로 또 다른 발전 이뤄낸 AI보안 솔루션 본연의 성능 확대 외에도 AI는 또 다른 방향으로 발전을 이뤄내고 있다. 대표적인 것이 바로 자연어로 동작하는 보안 솔루션과 통합 보안 솔루션이다. 최근에는 LLM(대형 언어 모델)을 활용해 이벤트 요약과 공격 시나리오 재구성, 자연어 질의 등에 활용하는 PoC가 활발하게 진행되고 있다는 것이 보안업계의 설명이다. 특히 최근에는 네트워크 트래픽 분석과 콘텐츠 심층 분석, 사용자 행위 분석(UEBA)과 통합해 지능적이고 능동적인 위협 대응 체계 구축으로 발전하고 있다. 이를 통해 보안 담당자는 효율적인 탐지와 분석, 검색 등 다양한 보안 업무를 지원받을 수 있으며, AI와 담당자 간 신뢰와 이해를 높이는 수단으로 기능할 것으로 보인다.
물론 이러한 자연어 기반의 기능들은 아직 과도기적 단계지만 향후 지능형 분석과 담당자와 운영자를 연결해 주는 인터페이스 역할을 할 것으로 기대하고 있다.
AI가 다양한 보안 기술에 자연스럽게 녹아들며 솔루션 간 통합을 가속하는 역할을 하고 있다는 주장도 나온다. 예를 들면, 별개의 영역처럼 보이는 데이터 분류(DLP)와 웹 분석(SWG), 사용자와 디바이스의 행동 분석(ZTNA, UEBA)과 SaaS 사용 분석(CASB) 및 상관분석(XDR) 등의 기능도 AI의 패턴 인식과 의미 분석을 통해 하나의 위협 흐름으로 연결될 수 있다는 설명이다.
이미 시장에서는 AI 기반 보안 통합을 향해 움직이고 있으며, AI가 단순히 통합된 플랫폼 위에서 동작하는 것이 아닌, 이종 보안 솔루션들을 실질적으로 통합하는 핵심 엔진이자 두뇌 역할을 하고 있다는 주장도 있다. 업계는 단순히 여러 제품을 묶는 것이 아닌 데이터의 통합과 지능형 분석의 통합으로 진정한 통합을 이뤄낼 것으로 기대하고 있다.
물론 실질적인 이기종 보안 솔루션을 연동하는 단계도 이뤄지고 있다, 역할이 부여된 Agentic AI와 이를 위한 MCP(Model Context Protocol) 기반 운영 환경으로 통합된 자동화와 오케스트레이션이 가능해지고 있다는 것. 이미 해외에서는 MCP 기반의 표준화가 보안 분야에도 점차 도입되고 있어 통합 운영을 위한 AI 연동은 더욱 활발히 진행될 것으로 기대하고 있다.
보안전문가들의 AI 보안에 대한 설문조사
그렇다면 실제 보안전문가들은 AI 보안에 대해 어떻게 생각할까? <시큐리티월드>와 <보안뉴스>는 보안전문가들의 의견을 들어보기 위해 2025년 11월 18일부터 20일까지 3일간 보안전문가들에게 설문조사를 진행했다. 이번 설문조사에는 공공(23.4%)과 민간(76.6%)의 보안전문가 1755명이 답했다.
가장 먼저 AI 보안 솔루션을 도입했는지를 물어봤다. 응답자의 41.7%는 ‘없다’라고 답했다. 이어 ‘1년 이내 도입할 예정이다’라고 답한 응답자가 24.0%였고, ‘있다(도입했다)’라고 답한 응답자도 22.9%에 달했다. 11.4%는 ‘당분간은 도입할 계획이 없다’도 답했다.
AI 보안 솔루션을 도입했거나 도입한다면, 목적이 무엇인지를 물어봤다. 가장 많은 응답자(36.6%)는 ‘AI를 악용한 사이버 공격에 대한 대응’이 목적이라고 답했다. 두 번째로 많은 응답자(34.9%)는 ‘AI를 이용한 보안 자동화’라고 답했으며, 17.1%는 ‘AI를 이용한 보안 이벤트 분석’이라고 답했다. 또한 9.7%는 ‘위협 상황 분석 내용을 쉽고 명확하게 전달’이 목적이라고 답했으며, 1.7%는 ‘자연어로 보안 솔루션 운용’이라고 답했다.
반대로 AI 보안 솔루션 도입이 망설여진다면 그 이유는 무엇일까? 역시가 가장 많은 응답자(35.4%)는 ‘높은 도입 비용’을 선택했고, 26.9%는 ‘AI에 대한 신뢰성 및 투명성 부족’이라고 답했다. 또한 20.6%는 ‘AI 보안 전문가의 부족’을, 9.1%는 ‘운영 및 유지보수의 어려움’을, 8.0%는 ‘기존 시스템과의 통합 문제’를 각각 골랐다.
현재 AI 보안 솔루션 사용자에게는 만족도를 물어봤다. 10점 만점에 ‘5점(24.6%)’이 가장 많았으며, ‘7점(21.1%)’이 뒤를 이었다. 또한 ‘8점(20.0%)’과 ‘6점(10.3%)’, ‘9점(8.6%)’과 ‘10점(5.7%)’ 등 많은 사용자가 만족감을 표시했다. ‘1점(5.7%)’과 ‘4점(2.3%)’, ‘3점(1.7%)’ 등 낮은 점수는 10% 이하였다.
그렇다면 보안 전문가들이 AI 보안 솔루션을 도입하려고 할 때 가장 필요한 정보나 지원책은 무엇일까? 가장 많은 36.6%의 응답자는 ‘객관적인 성능 비교 자료’라고 답했다. 아울러 32.0%는 ‘동종 분야 도입 성공 사례’를, 14.9%는 ‘전문가 컨설팅 및 전문 교육’을 각각 골랐다. 또한 8.6%는 ‘무료 평가판 지원’을, 7.9%는 ‘정부 지원 및 세제 혜택’을 선택했다.
마지막으로 현재 사용하는 AI 보안 솔루션은 어떤 제품군인지 물어봤다. 23.5%는 ‘안티바이러스’라고 답했으며, 16.6%는 ‘EDR’이라고 답했다. 이어 ‘SIEM(15.4%)’, ‘SOAR(13.7%)’, ‘DLP(9.1%)’, ‘CSPM(7.4%)’, ‘XDR(5.1%)’, ‘NDR(3.4%)’, ‘비식별(2.9%)’, ‘CTI(2.3%)’ 순으로 응답했다.
현장에서 더 요구하는 AI 보안 솔루션
지난 8월 <보안뉴스>는 국내 대표 정보보호최고책임자(CISO) 396명을 대상으로 최근 가장 주목하는 보안 이슈에 대한 설문조사를 실시했다. 여기에서 CISO들은 ‘AI 기반 탐지·대응 기술’을 꼽아 AI에 관한 관심과 기대를 보였다.
이에 대해 시큐레이어는 “CISCO의 연례 사이버보안 보고서에 따르면 실제 발생하는 보안 이벤트의 44%는 인력 부족으로 인해 아예 조사조차 되지 못하며, 조사가 이뤄진 이벤트 중에서도 51%는 결국 미해결 상태로 남았다고 한다”라면서, “CISO들은 바로 이 치명적인 보안 공백을 가장 우려하는 것 같다”라고 설문조사의 의미를 해석했다. “CISO들이 AI 기반 탐지·대응 기술을 주목하는 것은 이것이 보안 공백을 메울 수 있는 가장 현실적이고도 강력한 대안이기 때문입니다.”
이처럼 보안업무 현장에서는 AI에 대한 기대가 극적으로 높아지고 있다. “AI가 왜 필요해?”에서 “AI가 어떻게 우리 문제를 해결해 줄 수 있어?”로 기대감이 높아진 것은 물론 보다 실질적인 문제 해결에 AI를 접목할 생각을 하고 있다는 거다.
물론 사용자들이 원하는 수준까지 도달하려면 여러 문제점이 산재해 있긴 하다. 모니터랩은 먼저 AI 고도화를 위한 고객의 특성이나 위협 유형 등 현실 데이터 기반 학습이 우선 진행돼야 하며, 또한 여러 가지 공격 기법을 혼합해 각 분야의 보안 솔루션을 우회하는 공격 기법에 대응하기 위해 서로 다른 영역의 보안 솔루션과 AI를 연계해 통합하는 작업도 필요하다고 강조했다.
하지만 AI는 우리가 생각하는 것보다 더 빠른 속도로 발전하고 있으며, 우리 정부는 물론 전 세계가 AI를 국가 경쟁력으로 판단하고 투자와 지원을 아끼지 않고 있기에, AI를 위한 보안과 보안을 위한 AI가 일상화되는 것도 얼마 남지 않았을 것으로 판단된다. 그리고 그 발전 속도이 비례해 AI 보안 시장 역시 가파르게 성장할 것임이 분명하다.
Mini Interview ｜ 권태경 한국정보보호학회 AI보안연구회 위원장
“AI 성능 향상도 중요하지만, 보안과 안전이 먼저”
한국정보보호학회 AI보안연구회 위원장인 권태경 연세대학교 정보대학원 교수는 정보보호트랙 AI보안연구실 학생들을 지도하며 AI 보안 분야의 다각적인 연구와 실용화를 시도하고 있는 AI 보안 전문가다. 특히 과학기술정보통신부 지원 IITP 과제(AI 모델 취약성 분석, 평가 기술 및 생성 정보 비밀성 판단 도구 개발 연구)를 수행하며 AI 보안 연구의 기반을 다져가고 있다.
Q AI 보안은 AI를 위한 보안(Security for AI)과 AI를 이용한 보안(AI for Security)으로 나뉘는데요, 현재 이 두 분야의 연구 중 학계에서 주로 논의되는 부분은 어느 부분인지 궁금합니다.
두 분야 모두 중요하지만, 현재 학계의 무게 중심은 확실히 ‘AI를 위한 보안(Security for AI)’으로 기울었습니다. 과거 머신러닝 초기에는 AI를 활용해 악성코드를 탐지하거나 침입을 방어하는 ‘AI for Security’ 연구가 주를 이루었고, ‘Security for AI’ 연구에서는 이미지 모델에 대한 적대적 공격(Adversarial Attack) 연구 정도가 활발했습니다. 하지만 생성형 AI(GenAI)와 거대언어모델(LLM)이 등장하면서 상황이 급변했습니다. AI 모델 자체가 해킹의 대상이 되거나, AI가 생성하는 결과물이 사회적 혼란을 초래할 수 있다는 위기감이 커졌기 때문입니다. OWASP가 LLM 전용 취약점 Top 10을 발표하고, NIST가 생성형 AI 리스크 프로파일을 낸 것도 이와 같은 흐름을 보여줍니다.
Q 현재 학계에서 가장 중점적으로 논의되는 AI 보안은 어떤 분야인가요?
AI 보안에도 매우 다양한 분야가 있지만, 현재 학계에서 가장 중점적으로 논의되는 AI 보안을 꼽으라면 LLM 및 생성형 AI의 취약점 연구라고 할 수 있습니다. 그중에서도 가장 뜨거운 주제는 다름 아닌 ‘프롬프트 주입(Prompt Injection)’과 ‘탈옥(Jailbreaking)’ 공격이 대표적입니다. 학계에서는 이러한 공격을 방어하기 위한 다층적인 기술, 즉 모델 정렬(Alignment) 및 입력값과 출력값의 검증 기술 등을 집중적으로 연구하고 있습니다.
Q 최근 보안산업에서도 AI 도입이 활발합니다.
산업 현장에서 생성형 AI 기반 보안 솔루션은 이미 필수적인 도구로 자리 잡고 있습니다. 특히 ‘AI for Security’의 관점에서 말입니다. 이미 방대한 양의 데이터를 분석해 위협을 탐지하고 대응하는 속도 측면에서 인간 전문가를 압도합니다. AI가 SIEM이나 XDR 시스템에 통합되면서 보안 운영의 효율성이 획기적으로 향상되고 있습니다.
하지만 한계도 명확합니다. 현재의 AI 솔루션은 알려진 위협 패턴이나 정상 범주에서 벗어난 이상 행위를 탐지하는 데 강점을 보이지만, 완전히 새로운 방식의 제로데이 공격이나 고도로 지능화된 표적 공격(APT)에는 여전히 취약할 수 있습니다. 또한, 공격자들 역시 생성형 AI를 활용해 방어 시스템을 우회하는 신종 해킹 기술을 개발하고 있어, 끊임없는 ‘군비 경쟁(Arms Race)’이 벌어질 것이라 생각됩니다. 하지만 ‘Security for AI’의 관점에서는 아직 AI 보안 솔루션이 완전히 초기 단계라고 볼 수 있습니다. 향후 자동화, 지능화, 효율화된 AI를 위한 보안 솔루션이 속속 등장할 것입니다. 우리도 이와 같은 목표를 위해 노력해야 합니다. 결론적으로 현재 AI 보안 솔루션은 인간 분석가를 대체하는 수준이 아니라, 분석가의 능력을 극대화하는 ‘강력한 조력자(Powerful Augmentation Tool)’가 될 것이라고 평가할 수 있습니다.
Q 정부가 내년 AI 관련 예산을 확대하고 엔비디아 GPU를 도입하는 등 AI 연구에 대한 움직임이 활발하지만, 보안의 중요성에 대해서는 그만큼 논의가 이뤄지지 않고 있는 것 같습니다.
정말 매우 중요한 포인트라고 생각합니다. 국가 AI 경쟁력 확보를 위해 기술 개발과 인프라(GPU 등) 확충에 투자하는 것은 당연히 필수적입니다. 특히 이번 정부에서 매우 잘하고 있다고 생각합니다. 하지만 현재의 접근 방식은 AI의 성능 향상(Capabilities)에만 치우쳐 있고, 따지고 보면 보안과 안전(Security and Safety)에 대한 투자와 정책적 관심은 상대적으로 부족한 것이 사실입니다. 단언컨대, 보안이 담보되지 않는 AI의 발전은 사상누각과 같습니다. AI 보안은 기존의 컴퓨터와 인터넷에서 그랬듯이, 시스템을 구축한 후에 덧붙이는 것이 아니라, 개발 단계부터 고려해야 하는 너무도 중요한 요소입니다. 이를 위해 AI 보안 원천 기술에 대한 장기적인 투자가 필요하며, 특히 독립적인 연구 로드맵 수립과 전문 인력 양성이 시급합니다. 혁신과 보안은 반드시 함께 가야 할 두 축입니다.
Q 2026년, 연구회와 위원장님의 AI 보안 연구에 대한 계획은?
2026년은 적어도 AI가 실제로 행동하는 단계로 넘어가는 원년이 되지 않을까 합니다. 왜냐하면 에이전틱 AI의 기술 발전과 보급이 예사롭지 않으며 특히 멀티 에이전트의 시대가 본격적으로 열릴 것이기 때문입니다.
그렇다면 에이전틱 AI, 특히 멀티 에이전트와 관련된 많은 보안 문제가 대두될 것입니다. 즉 여러 개의 AI 에이전트가 협업해 복잡한 과업(금융 거래, 시스템 운영 등)을 수행하는 환경이 보편화됨에 따라 ‘A 에이전트가 B 에이전트에게 전달한 명령이 안전한가?’를 검증하는 ‘Agent-to-Agent 신뢰 검증’ 기술이 또 하나의 핵심 보안 영역으로 떠오를 수 있습니다.
따라서 자동화된 레드티밍의 중요성은 앞으로 더욱 커질 것입니다. 저희 연구실에서 현재 수행 중인 과학기술정보통신부 지원 IITP 과제(AI 모델 취약성 분석, 평가 기술 및 생성 정보 비밀성 판단 도구 개발 연구)는 AI 모델의 레드티밍 자동화와 블루티밍의 기반 기술을 연구하는 것으로 내년에 종료될 예정입니다. 따라서 이 과제의 흥미로운 결과물을 내년도에 실증하고, 이 결과물을 바탕으로 새로운 연구과제와 연구 내용을 이어갈 수 있도록 계속 도전할 계획입니다.
[원병철 기자(boanone@boannews.com)]
Copyright © 보안뉴스. 무단전재 및 재배포 금지.