[김정덕의 AI 시대 보안 패러다임-12] AI 시스템의 위험분석 방법, STPA

개발 단계에서 AI 안전을 설계하는 시스템적 접근법

[연재목차 Part 2. AI 시대 보안 패러다임]
1. AI 시대의 그림자, ‘딥페이크 사기’를 경계하라
2. AI 시대, 번아웃 관리
3. AI 편향과 공정성, 보안에서 무엇이 다른가
4. 설명가능 AI와 인간의 최종 판단
5. AI도 인간과 닮았다
6. AI, ‘안전’과 ‘보안’의 경계를 허물다
7. AI 도입의 딜레마_기회와 위험 사이
8. AI 위험에 대한 2개의 거버넌스
9. 챗봇을 넘어, ‘행동하는 AI’를 통제할 시간
10. AI 시대의 생존 방정식, ‘실행형’ 보안 거버넌스
11. AI 보안관리의 새로운 지평, AI-SPM의 이해와 도입 전략
12. AI 시스템의 새로운 위험분석 방법, STPA
13. 에이전트 AI 시대_인간 중심 통제 설계
14. AI와 인간의 동맹_협업모델
15. AI, 보안문화를 재정의하다

[보안뉴스= 김정덕 중앙대 산업보안학과 명예교수/인간중심보안포럼 의장] 인공지능(AI)이 산업 전반에 스며들며 혁신을 이끌고 있지만, 화려한 기술 이면에 도사린 ‘새로운 위험’을 우리는 완벽히 통제하고 있을까요?

기존 IT 시스템의 위험 분석은 주로 장비 오작동이나 소프트웨어 버그 같은 물리적·기능적 결함, 즉 ‘고장(Failure)’에 초점을 맞췄습니다. 하지만 생성형 AI의 위험은 다릅니다. 완벽하게 정상 작동하는 AI가 편향된 데이터를 학습하거나 해커의 교묘한 지시를 충실히 이행할 때 치명적인 사고가 발생합니다. 이는 개별 부품의 고장이 아닌 시스템 전체의 ‘통제 상실’ 문제입니다.

[자료: AI Generated by Kim, Jungduk]

경험과 직관을 넘어선 구조적 분석 기법: STPA
과거 사례나 전문가의 직관에 의존하는 기존의 ‘시나리오 기반 위험 분석’은 이미 알고 있는 적을 방어하는 데는 유리하지만, 미지의 AI 위협 앞에서는 속수무책입니다. 새로운 대안으로 등장한 ‘시스템 이론적 프로세스 분석(STPA: System-Theoretic Process Analysis)’이 주목받고 있습니다.

STPA는 위험을 ‘부적절한 제어 구조(Control Structure)’의 문제로 보고, “시스템이 어떻게 스스로를 위험에 빠지는가?”라는 근본적인 질문에서 출발해 내부 상호작용을 분해하고 위험 경로를 추적합니다. 웹사이트에 숨겨진 악성 텍스트를 LLM이 읽고 내부 정보를 유출하는 ‘간접 프롬프트 인젝션’ 같은 복잡한 상황도 인간의 상상력이 아닌, STPA의 구조적·귀납적 분석을 통해서만 사전 도출이 가능합니다.

실무의 현실: ‘레드티밍’과 ‘체크리스트’를 넘어
현재 AI 개발 실무는 출시 전 모의 해킹으로 취약점을 찾는 ‘AI 레드티밍’이나 ‘OWASP Top 10 for LLM’ 같은 체크리스트에 크게 의존합니다. 이는 알려진 공격을 막는 데는 유용하지만, 복잡한 상호작용이 빚어내는 ‘미지의 오작동’을 원천 차단하기엔 역부족입니다. 위와 같은 알려진 취약점 체크리스트에 크게 의존하고 있습니다. 이러한 경험적이고 사후 대응적인 방식은 이미 알려진 공격 패턴을 막아내는 데는 매우 실용적입니다.

비행기나 자율주행차처럼 단 한 번의 오작동이 치명적 재앙으로 직결되는 분야의 국제 안전 표준(예: 자율주행차 안전 표준 ISO 21448 SOTIF)에서 STPA를 핵심 분석 기법으로 권장하는 이유가 바로 여기에 있습니다. 기업의 핵심 인프라와 의사결정이 점차 AI에 위임되는 지금, 기업의 AI 보안 역시 사후 땜질식 처방을 넘어 기획 단계부터의 근본적인 ‘안전 설계’로 진화해야만 합니다.

보안 특화 방법론 ‘STPA-Sec’과 하이브리드 전략
그럼에도 STPA 특유의 가파른 학습 곡선과 막대한 분석 시간은 기업 환경에서 여전히 높은 장벽입니다. 이를 극복하기 위한 실무적 돌파구가 바로 사이버 보안에 특화된 ‘STPA-Sec(STPA for Security)’ 방법론입니다. 이는 단순한 기계적 결함이나 안전을 넘어, 해커의 ‘악의적 통제’ 시나리오를 구조적으로 방어하는 데 집중하는 체계입니다.

모든 시스템에 이 무거운 분석을 적용할 필요는 없습니다. 일반적인 웹 UI나 DB 접근 구간은 기존의 OWASP 체크리스트로 빠르게 처리하고, LLM이 사내 핵심 시스템에 직접 명령을 내리는 ‘핵심 제어 루프(Critical Control Loop)’에만 STPA-Sec을 집중 적용하는 ‘하이브리드 전략’이 매우 효과적입니다. 비즈니스 속도를 늦추지 않으면서도 STPA의 강력한 보안성을 내재화할 수 있습니다.

현실적 역할 분담: 파운데이션 모델부터 자체 SLM까지
일반적으로 CISO의 역할이 운영 단계의 실시간 위협 모니터링(AI-SPM)이라면, 원천 모델을 설계하는 빅테크(개발사)의 책임은 기획 단계부터 STPA를 적용해 내재적 결함을 제거하는 것입니다.

▲김정덕 중앙대 명예교수 [자료: 김정덕 교수]

하지만 중요한 예외가 있습니다. 기업이 오픈소스 모델을 기반으로 자체 SLM(소형언어모델)을 구축하거나, 사내 문서를 연동한 RAG(검색증강생성) 시스템을 직접 개발하는 경우입니다. 이때 기업은 단순한 ‘사용자’를 넘어 사내 AI 시스템의 ‘설계자’가 됩니다. 사내 DB, 챗봇 인터페이스, 임직원의 프롬프트가 상호작용하는 복잡한 제어 구조를 새롭게 구축하는 것이므로, 기업의 보안 조직 역시 기획 초기 단계에 개입하여 STPA 기반의 위험 분석을 반드시 수행해야 합니다.

AI 시스템의 안전과 보안은 운영 단계의 방화벽이나 사후 조치만으로 완성되지 않습니다. 설계 단계의 STPA(구조적 안전)와 운영 단계의 AI-SPM(실행 통제)이 톱니바퀴처럼 맞물려 돌아갈 때, 비로소 우리는 AI라는 강력한 도구를 온전히 통제할 수 있을 것입니다.