AI 스스로 취약점 찾아 ‘안전한 생성형 AI’ 만든다

KAIST, AI 안전성 검증 기술 ‘스테이블-지플로우넷’ 개발
기존 대비 7배 공격 유형 찾아 취약점 발굴...우수한 성능 입증

스테이블-지플로우넷 기술 개념도를 AI로 그린 일러스트. KAIST 제공.

인공지능(AI)의 숨은 취약점을 더 많이 찾아 안전성을 높이는 기술이 개발됐다. 생성형 AI 등 보다 안전하고 신뢰할 수 있는 AI 개발에 활용될 전망이다.

KAIST는 김준모 전기및전자공학부 교수 연구팀이 AI를 의도적으로 공격해 취약점을 찾아 안전성 검증 한계를 극복하는 새로운 프레임워크 ‘스테이블-지플로우넷’을 개발했다고 30일 밝혔다.

생성형 AI를 의도적으로 공격해 취약점을 찾아 안전성을 검증하는 ‘레드팀’은 프로그램을 배포하기 전에 AI가 유해하거나 위험한 답변을 유도하는 공격 프롬프트를 만들어 숨은 약점을 찾아내는 과정이다.

보다 다양한 공격방법을 찾아낼수록 더 많은 취약점을 사전에 제거할 수 있다.

기존에는 강화학습을 이용해 공격 프롬프트를 생성하는 방식이 주로 사용돼 왔다. 하지만 가장 성공률이 높은 한두 가지 공격 방법만 반복적으로 생성하는 ‘모드 붕괴’가 자주 발생해 여러 유형의 취약점을 충분히 찾는 데는 한계가 있었다.

보상에 비례해 다양한 결과를 생성하도록 학습하는 AI 생성기술인 ‘생성 흐름 네트워크’ 역시 계산이 복잡하고 불안정해 성능이 쉽게 무너지는 문제가 있었다.

연구팀은 우선 대조 궤적 균형 기법과 노이즈 경사 가지치기를 도입해 복잡한 계산 과정을 줄이면서 중요한 정보만 학습하도록 설계했다.

이어 유창성 안정화 장치를 적용해 사람이 실제 사용할 법한 공격 프롬프트를 생성하도록 유도해 ‘스테이블-지플로우넷’을 개발했다. 이 기술은 기존 대비 7배 많은 공격 유형을 발굴하면서 92%의 높은 공격 성공률을 유지했다.

또 서로 다른 공격 기법을 이용해 평가하는 교차 공격 시험에서도 다양한 공격을 효과적으로 방어하며 우수한 성능을 입증했다.

김준모 교수는 “적은 데이터와 잡음이 많은 환경에서도 AI의 다양한 취약점을 안정적으로 찾아낼 수 있다”며 “AI 안전성 검증뿐 아니라 신약 후보물질 발굴 등 다양한 분야에서 안전하고 신뢰할 수 있는 AI 개발에 쓰일 것으로 기대한다”고 말했다.

연구결과는 AI 분야 국제학술대회인 ‘국제머신러닝학회(ICML) 2026’에서 상위 2.2%에 해당하는 스포트라이트 논문으로 선정됐다.

스테이블-지플로우넷 개발 과정도. KAIST 제공.

이준기 기자 bongchu@dt.co.kr