가드레일까지 우회하는 LLM 에이전트, 우리는 막을 수 있나

해커는 승인만, 공격은 AI가
안전장치 우회한 실제 사건
방어 기술에 AI 영향 확대를

편집자주
2025년 세계 최대 해킹 대회 'AI 사이버 챌린지' 우승으로 주목받은 윤인수 KAIST 전기및전자공학부 교수가 한국일보에 해킹과 보안 이야기를 연재한다. 중요성이 날로 커지고 있지만 아직은 낯선 보안의 세계로 4주에 한 번씩 독자들을 안내한다.

게티이미지뱅크

지난해 11월 앤트로픽은 보안업계에 큰 충격을 주는 소식을 알렸다. 공격자들이 인공지능(AI)을 이용해 정찰, 공격 준비, 정보 수집에 이르는 해킹 전 과정을 자동화하고 세계 여러 나라의 정부 기관이나 기업을 대상으로 대규모 사이버 첩보 활동을 벌였는데, 이를 최초로 탐지하고 차단했다는 것이다.

해킹 자동화 과정에 사용된 핵심 기술은 '대규모언어모델(LLM) 에이전트'였다. LLM 에이전트란 LLM이 단순히 질의응답을 수행하는 수준을 넘어, 목표를 부여받고 다양한 도구를 활용하며 장기간의 작업을 자율적으로 수행하는 시스템을 의미한다. 공격자들은 LLM 에이전트에게 공격 시나리오와 필요한 도구를 제공하고, 공격 목표 설정과 승인만 수행한 채 실제 공격 실행은 AI가 담당하도록 구성하였다.

물론 이러한 악용을 방지하기 위해 AI 시스템에는 일반적으로 '가드레일'이라 불리는 안전 장치가 적용되어 있다. 그러나 공격자들은 자신들을 내부 보안팀 직원으로 가장하고, 정상적인 보안 테스트를 수행하는 것처럼 AI를 속이는 방식으로 가드레일을 우회하였다. 이는 AI가 단순한 보조 도구를 넘어, 공격 과정 전체를 계획하고 실행하는 주체적 행위자로 기능할 수 있음을 보여주는 중요한 신호라 할 수 있다.

보안 분야에서 사람이 반복적으로 수행하던 취약점 탐지, 로그 분석, 위협 대응 같은 작업들이 AI로 자동화하며 발전하고 있지만, 최근 구글 보고서에 따르면 공격자들도 목표 조사, 악성 코드 제작, 취약점 분석 등 해킹의 전 과정에서 AI를 활용하며 점점 더 정교해지고 있다.

대표적인 공격 방식인 피싱도 날로 고도화하는 중이다. 과거의 피싱 메일은 문법이 어색하거나 형식이 조잡해 비교적 쉽게 구분할 수 있었다. 하지만 지금은 AI가 자연스러운 문장을 생성하면서 사람이 작성한 것과 구분하기 어려워졌고, 특정 개인을 노리는 '스피어 피싱'도 훨씬 정밀해졌다. 영상과 음성도 조작한다. 재작년 홍콩의 한 금융회사에선 직원이 최고재무책임자(CFO)와 화상회의를 한 뒤 342억 원을 송금했는데, 그 CFO는 AI로 생성된 가짜였다.

다행인 건 방어 측면에서도 AI의 영향력이 빠르게 확대되고 있다는 점이다. 지난해 우리 연구진이 우승한 미국 국방고등연구계획국(DARPA)의 'AI 사이버 챌린지'에선 5,400만 줄이 넘는 소프트웨어 코드의 취약점을 인간의 개입 없이 탐지하고 패치하는 기술을 경쟁했는데, 18개의 실제 취약점이 자동으로 발견되었고, 이 중 61%가 AI에 의해 자동 수정되었다. 2016년 개최된 유사 대회(DARPA 사이버 그랜드 챌린지)가 수천 줄 규모의 소프트웨어 코드를 대상으로 진행되었던 것과 비교하면, 기술적 난이도 측면에서 큰 도약이라 할 수 있다.

최근 유명 소프트웨어 Node.js의 창시자 라이언 달은 “사람이 코드를 작성하는 시대는 끝났다”고 말했다. 사람이 직접 해킹을 수행하는 시대 역시 머지않아 막을 내릴 것이다. 이러한 변화의 흐름 속에서, 우리는 얼마나 준비되어 있는지 자문해야 한다.

윤인수 KAIST 전기및전자공학과 교수

윤인수 KAIST 전기및전자공학과 교수