“마약·폭탄 제조법 다 알려주네”…범죄 악용될 질문에 걸려든 AI

SK쉴더스, 악용 경고

이재우 SK쉴더스 EQST/SI사업그룹장(전무)이 2일 서울시 중구에서 열린 ‘2024 상반기 보안 트렌드 및 안전한 AI 활용 위한 보안 전략 공개’ 미디어 세미나에서 발표하는 모습 [사진 제공=SK쉴더스]

프롬프트를 악용해 마약·폭탄 제조법을 알아내는 등 챗GPT와 같은 거대언어모델(LLM) 인공지능(AI) 서비스를 우회하는 취약점이 나오고 있다.

생성형 AI 서비스가 급속도로 확장하면서 이같은 생성형 AI 서비스의 취약점이나 AI를 활용한 공격 사례도 증가하고 있다.

SK쉴더스는 2일 서울시 중구 페럼타워에서 2024년 상반기 보안 트렌드를 분석하며 인공지능(AI)을 활용한 공격과 주의점을 소개했다.

SK쉴더스는 생성형 AI 서비스에서 발생할 수 있는 10가지 취약점 중 ‘프롬프트 인젝션’, ‘불완전한 출력 처리’, ‘민감 정보 노출’ 등 3가지를 가장 위험도가 높은 취약점으로 꼽으며 프롬프트 인젝션은 악성코드 생성이나 마약 제조, 피싱 공격에 악용될 수 있다고 강조했다.

이호석 SK쉴더스 EQST랩 팀장은 “프롬프트 인젝션은 악의적인 입력을 통해 의도한 답변을 유도하는 취약점”이라고 설명했다. 가령 일반적으로 마약이나 폭탄 제조법을 물어보면 AI 서비스는 대답하지 않도록 설계되어있지만, 문자를 기호로 바꿔 입력하거나 정상적인 질문부터 조금씩 물어보는 방법으로 모델의 안전 정책을 회피할 수 있다는 설명이다.

또한 민감 정보 노출의 경우 사용자가 질문했을 때 특정인의 개인정보가 출력되는 취약점이다. LLM을 학습하는 과정에서 개인정보 필터링이나 가명 정보 처리가 미흡한 경우 발생한다.

이 팀장은 이어 “프롬프트 입력값을 검증하는 프롬프트 보안 솔루션이나, 학습 과정에서 데이터를 정제하는 솔루션이 대책이 될 수 있다”고 설명했다.

이외에도 프롬프트를 반복적으로 요청해 AI 서비스에 과부하를 일으키는 사례, AI 모델이 학습하는 웹사이트 등의 데이터를 조작해 모델을 오염시키는 사례 등이 취약점으로 소개됐다.

SK쉴더스는 이날 올해 상반기 주요 보안 트렌드도 소개했다. 이재우 SK쉴더스 EQST/SI사업그룹장(전무)은 침해사고를 유형별로 분석하며 “취약점을 노린 공격이 45%로 가장 높게 나타났고, 소셜미디어(SNS) 등을 이용하는 소셜 엔지니어링 공격이 26%에 달했다”고 설명했다.

특히 특정인의 외형이나 목소리를 모사하는 딥페이크나 딥보이스 기술을 활용한 AI 스피어 피싱 공격도 활발히 나타났다. 대표적으로 올해 2월 홍콩에서는 직원 얼굴을 재현한 딥페이크 화상회의에 속아 340억원을 송금한 한 금융사 직원의 피해 사례가 있었다.