AI 열풍에 보안 우려도 급증…보안 스타트업 시장 '급성장'

빅테크 기업들, '탈옥'에 뚫려 금지 콘텐츠 제공 막으려 노력

[보스턴(미 매사추세츠주)=AP/뉴시스] 인공지능(AI) 열풍이 전 세계를 강타하고 있는 가운데, 데이터 보안도 중요 이슈로 떠오르면서 AI 사이버 보안 스타트업 시장이 뜨겁게 달아오르고 있다. 사진은 지난해 12월8일 보스턴의 한 휴대폰에 챗GPT가 생성한 컴퓨터 화면 이미지에 표시된 오픈AI의 로고. 2024.03.13.

[서울=뉴시스]박광온 기자 = 인공지능(AI) 열풍이 전 세계를 강타하고 있는 가운데, 데이터 보안도 중요 이슈로 떠오르면서 AI 사이버 보안 스타트업 시장이 뜨겁게 달아오르고 있다.

특히 2022년 등장한 생성형 AI '챗GPT'가 이용자의 우회적인 '탈옥'에 뚫려 폭탄 제조법과 같은 금지 콘텐츠를 사용자에게 알려주는 일이 발생하자, AI 챗봇 개발에 열을 올리고 있는 빅테크 기업들은 취약점을 없애기 위해 노력하고 상황이다.

20일(현지시각) 영국 파이낸셜타임스에 따르면 챗GPT 개발사 오픈AI를 포함해 메타, 구글 등 빅테크 기업들은 AI 모델을 출시하기 전 해커로 구성된 'AI 레드팀'(AI 시스템의 취약점을 식별하기 위한 테스트)을 활용해 모델에 대한 '탈옥'(Jail breaking)을 진행한다.

'탈옥'이란 각종 규제 필터를 우회해, 제조사의 AI 윤리 기준 설정을 무너뜨리는 것을 의미한다. 탈옥이 이뤄지면 AI 기술에 걸려 있는 윤리 기준이 무너져, AI가 욕설 등 사회적으로 문제가 될 만한 답변을 하게 된다.

자칭 화이트 해커(악의적인 해킹 관련 대응 방안을 마련하는 보안전문가)인 플리니 프롬터(Pliny the Prompter)는 FT와의 인터뷰를 통해 "빅테크 기업들은 거대한 이익을 추구하기 위해 급하게 대규모 언어 모델(LLM)을 공개했다"며 "이러다 보니 취약한 부분들이 쉽게 노출됐고, 이를 막기 위한 국제적인 노력으로 '탈옥'이 이뤄졌다"고 전했다.

글로벌 시장조사기관 CB인사이트에 따르면, 머신러닝(컴퓨터에 데이터 제공 후 스스로 학습하게 하는 것) 기반 보안 스타트업은 지난해 23건의 거래에서 2억1300만 달러(약 2957억7180만원)의 수익을 얻었다.

이는 그 전년도인 2022년 7000만 달러(약 971억9500만원)에 비해 약 3배 증가한 수치다.

LLM 보안 업체인 '사이버아크'의 수석 연구원 에란 시모니는 "탈옥 공격은 약 1년 전 시작된 후 지금까지 지속적으로 진화해 왔다"며 "이것은 LLM의 보안을 개선하는 공급업체에 끊임없는 고양이와 쥐 게임(근본 문제는 해결되지 않은 채 잡고 잡히는 상황을 이르는 말) 상황을 만들어 준다"고 말했다.

이 같은 AI 보안 업체 시장의 성장은 전 세계적으로 AI 모델과 관련된 잠재적인 위험을 억제해야 한다는 공감대가 형성되며 이뤄졌다.

유럽연합(EU)은 AI 모델에 대한 투명성 요구 등 AI 기술 사용에 대한 보호 장치를 마련하는 내용을 골자로 한 법안을 통과시켰고, 영국과 싱가포르도 이와 관련한 법 제정을 고려 중이다.

미국 캘리포니아 주의회는 오는 8월 메타, 구글, 오픈AI 등에 "위험한 기능"을 갖춘 모델을 개발하지 않도록 요구하는 법안에 투표할 예정이다.

한편 프롬터는 X를 통해 자신을 'AI 레드 팀' 멤버라고 소개하면서, 챗GPT에 탈옥을 단행한 사례를 공유하기도 했다.

구체적으로 GPT는 인종·성별·종교에 대한 편향, 인류에게 위험을 주는 위험한 정보 등을 자동 차단하는 필터를 갖고 있는데, 프롬터가 공유한 '갓모드 GPT'(GODMODE GPT)라는 GPTs를 사용해 이 필터를 우회하도록 한 것이다.

실제 프롬터는 이 같은 방법을 통해 AI 챗봇이 욕을 하고, 자동차 탈취 방법을 생성하게 하고, 폭탄의 일종인 네이팜탄(소이탄)을 제조하는 방법을 안내하도록 했다. 또 필로폰 일종인 메스암페타민을 만드는 방법도 시연했다.

프롬터는 "세계에서 가장 강력한 AI 모델을 깨뜨리는 데 일반적으로 약 30분이 걸린다"고 전했다.

☞공감언론 뉴시스 lighton@newsis.com