SK쉴더스 EQST, ‘데프콘 34’ AI CTF 글로벌 5위… AI 보안 역량 입증

AI 에이전트 기반 자율 취약점 탐색·공격 설계 적용해 실전 해결 능력 입증
실전 경험 바탕으로 AI 모델 취약점 연구 및 AI 레드팀 대응 기술 고도화 추진

데프콘(DEFCON 34)에 참가한 SK쉴더스의 화이트해커그룹 이큐스트(EQST) 구성원들이 기념촬영을 하고 있다.사진 제공=SK쉴더스

SK쉴더스(대표 민기식)의 화이트해커 그룹 이큐스트(EQST)가 글로벌 해킹·보안 컨퍼런스인 ‘데프콘(DEF CON) 34’ AI Village CTF에서 전 세계 200여 개 참가팀 중 최종 5위를 기록했다. EQST는 국내 참가팀 중 유일하게 톱5에 이름을 올리며 AI 보안 역량을 입증했다.

미국 라스베이거스에서 열린 올해 데프콘에서는 대규모언어모델(LLM)과 AI 에이전트 등 스스로 판단하고 행동하는 기술이 사이버보안 환경에 가져올 변화가 주요 화두로 다뤄졌다. 총 38개 빌리지 중 AI Village에서 진행된 이번 CTF는 주어진 AI 모델을 기반으로 침투테스트를 수행하는 AI 에이전트를 구축하고, 이를 활용해 보안 문제를 해결하는 방식으로 진행됐다.

사람이 직접 공격을 수행하는 기존 CTF와 달리, 이번 대회는 AI 에이전트가 문제를 분석하고 공격 방법을 선택해 플래그(Flag)를 획득하도록 설계해야 하는 점이 특징이다. 참가팀들은 에이전트의 구조와 프롬프트를 제작해 공격 전략을 겨뤘다.

EQST는 문제 유형별 AI 모델을 최적화하고 에이전트의 행동 방식을 조정하는 한편, 난이도와 배점을 분석해 공략 순서를 결정하는 전략을 적용했다. 특히 AI 에이전트가 스스로 취약점을 탐색·공격하도록 설계하는 과정에서 모의침투 경험과 보안 문제 분석 능력을 종합적으로 활용했다.

EQST는 이번 대회를 통해 에이전틱 AI(Agentic AI)를 활용한 공격 기법을 실전 환경에서 검증했다. 대회에서 확보한 AI 에이전트의 공격 전략과 해결 사례는 향후 AI 서비스·모델 취약점 연구, AI 레드팀 역량 강화, 보안 대응 기술 고도화에 활용할 방침이다.

아울러 EQST는 네이버클라우드, 루비야랩, 핀란드 H-T8과 연합팀을 구성해 데프콘 34 CTF 본선 무대에도 올랐다. 예선 참가 686개 팀 중 12개 진출팀에 포함된 연합팀은 공격·방어(Attack & Defense)와 KOTH(King of the Hill) 방식을 병행하며 각국 보안 전문가들과 기술을 겨뤘다.

약 200명 규모의 전문 화이트해커 그룹인 EQST는 취약점 연구와 모의침투, 악성코드 분석 등 다방면에서 활동 중이다. 최근 AI 레드팀 해킹대회 ‘저지먼트 데이’, ‘드림핵 해킹방어대회 2026’ 우승, ‘R3CTF 2026’ 2위, ‘미드나이트 선 CTF 2026’ 3위 등 국내외 대회에서 성과를 이어가고 있다.

김태형 SK쉴더스 EQST사업그룹장은 “AI CTF 톱5 기록은 EQST가 축적해 온 AI 보안 기술과 실전 해결 역량을 보여준 성과”라며 “앞으로도 AI 취약점과 레드팀 연구를 확대해 선제적 보안 대응체계를 강화해 나가겠다”고 밝혔다.

최용석 기자 duck8@donga.com