“맘대로 해킹하는 AI 잡는다” 화이트해커 AI 등장...공격 루트 7배 많이 찾아

김준모 KAIST 전기및전자공학부 교수
AI로 공격 루트 미리 찾아내
공격 방어율도 99.8%로 높여

김준모 KAIST 전기및전자공학부 교수가 인공지능(AI)의 취약점을 미리 찾고 방어 대책을 내놓는 ‘AI 화이트해커’ 기술을 개발했다. [사진=챗GPT로 생성한 이미지]

생성형 인공지능(AI)이 위험한 답변을 내놓지 않도록 미리 위험 요인과 공격 루트를 점검하는 AI 기술이 나왔다. 해킹을 미리 시도해서 사전 대책을 내놓는 레드팀이자 ‘AI 화이트해커’가 등장한 것이다.

김준모 KAIST 전기및전자공학부 교수는 대규모언어모델(LLM)의 안전성을 검증하는 새로운 프레임워크 ‘스테이블-지플로우넷(S-GFN)’을 개발했다고 30일 밝혔다. AI가 유해한 답변을 내놓지 않게끔 사전에 점검하고 차단하는 기술이다. 해당 논문은 AI 분야의 세계적인 학회인 ‘국제머신러닝학회 2026’에서 스포트라이트 논문으로 선정됐다.

오픈AI, 앤스로픽 등 빅테크는 AI가 금지된 답변을 내놓지 못하도록 여러 차단벽을 내부에 만들어놓는다. 만약 AI가 폭탄 제조법 같은 악용 위험이 높은 답변을 제공하면 사회적으로 혼란을 초리해라 수 있기 때문이다.

지금까지는 사람이 직접 공격 프롬프트를 일일이 시험해보거나, AI를 활용해 공격 프롬프트를 만들어왔다. 다만 강화 학습에 기반한 기존 AI로는 다양한 공격 루트를 찾지 못했다. 강화 학습 특성상 공격 성공률이 높은 소수의 루트에만 편중됐기 때문이다.

김 교수는 공격 성공률이 높으면서도 최대한 많은 공격 루트를 찾아내는 방법을 만들었다. 기존의 방식이 여러 공격 루트를 일일이 분석하는 ‘리그 방식’이었다면, 이번 기술은 두 개의 공격 루트를 비교하는 ‘토너먼트 방식’이다.

이로 인해 공격 프롬프트를 만드는 계산 과정이 단순해졌고, 결과적으로 더 많은 공격 루트를 찾을 수 있게 됐다. 또한 프롬프트의 유창성까지 평가해 사람이 실제로 작성할 법한 프롬프트를 최대한 가깝게 찾아낸다.

분석 결과, 새로 만들어진 ‘AI 화이트해커’는 AI 공격 루트를 기존 대비 약 7배 더 많이 찾아내는 것으로 나타났다. AI가 만들어낸 공격 루트의 성공률은 92.6%였다. 기존 기술이 찾아낸 루트의 공격 성공률(92.6%)을 감안하면, 유의미하면서도 다양한 공격 루트를 찾아낸 것이다.

미리 알아낸 공격 루트를 학습한 AI 모델은 이전보다 훨씬 높은 방어 성능을 보였다. 더 다양한 공격 루트를 미리 알아내고 차단한 덕분이다. 기존 방법으로 학습한 AI 모델의 공격 방어율은 약 77%에 그쳤지만, 새로운 방법으로 학습한 AI 모델의 방어율은 99.8%에 달했다. 거의 모든 공격 시도를 막아낸 셈이다.

이번 기술로 AI 모델의 안전성과 신뢰성이 높아질 것이라는 기대가 나온다. 유용하지만 악용 우려도 높은 신약 후보 생성 AI 등에 적용하면, 해당 분야는 더 빠르게 발전할 수 있다. 김 교수는 “AI를 실제 활용하기 전에 더 폭넓은 위험 요소를 찾아내고 방어할 수 있어, 안전하고 신뢰할 수 있는 AI 개발의 핵심 기반기술이 될 것”이라고 했다.

김준모 KAIST 전기및전자공학부 교수