“해킹 아닌 테스트” 속이자, AI가 멕시코 정부 털어

납세자 기록 등 1억9500만건 유출
AI 악용한 해킹에 보안 업계 비상

앤스로픽 로고 이미지./로이터 연합뉴스

인공지능(AI)이 대규모 해킹 사건에서 공격의 핵심 역할을 하는 사례가 등장하면서 보안 업계에 비상이 걸렸다. 오픈AI의 챗GPT, 앤스로픽의 클로드 등 주요 AI 모델은 처음부터 해킹 같은 불법 행위를 거부하도록 설계됐지만, 이용자가 AI를 속이는 ‘탈옥’에 성공할 경우 AI를 불법 행위에 악용하는 것을 막기 어렵다는 지적이 나온다.

25일(현지 시각) 블룸버그통신에 따르면 이스라엘 보안 스타트업 갬빗 시큐리티는 앤스로픽 클로드가 해킹에 악용돼 멕시코 정부 기관을 공격했다고 밝혔다. 한 이용자가 클로드를 활용해 정부 네트워크 취약점을 찾고, 이를 통해 150기가바이트(GB)에 달하는 데이터를 유출했다는 것이다. 해킹 공격을 받은 기관은 멕시코 국세청(SAT), 국가선거관리소(INE), 멕시코시티 주민등록소 등으로 1억 9500만건에 달하는 멕시코 납세자 기록 문서, 유권자 명부, 공무원 계정 정보 등이 유출됐다.

갬빗 시큐리티에 따르면 해커는 클로드에 스페인어로 “엘리트 해커 역할을 수행하라”고 지시해 정부 네트워크를 공격하는 방법을 찾았다. 클로드는 애초 악의적인 의도를 감지해 지시를 따르지 않으려 했으나, 해커가 계속해서 “버그 바운티(네트워크 취약점을 발견하면 포상하는 프로그램)를 위한 테스트”라며 AI를 속인 것으로 드러났다. 해커는 AI 기업이 만든 안전장치를 우회해 뚫는 데 성공했고, 정부 네트워크에서 데이터 탈취를 자동화하는 방법까지 알아낼 수 있게 된 것이다. 해커는 해킹 과정에서 막히는 부분에서는 오픈AI의 챗GPT를 활용한 것으로 나타났다.

앤스로픽 측은 “문제가 된 계정을 차단했고, 악용 사례를 모델 학습에 반영할 것”이라며 “최신 모델에선 이 같은 오남용 탐지 기능을 강화했다”고 했다. 오픈AI 역시 해당 계정을 차단했다. 그럼에도 AI 업계에선 이용자들이 끊임없이 창의적인 우회 방법을 찾아낼 것이며, 문제를 발견하고 수정하는 ‘사후 조치’로는 AI 악용을 완벽하게 차단하기 어렵다는 우려가 나온다. 지난해 AI와 대화 후 극단적 선택을 한 청소년의 사례에서도 AI는 애초 답변을 거부했지만 이후 쉽게 뚫린 것으로 나타났다. 당시 해당 청소년은 극단적 선택을 하는 방법을 챗GPT에 물으며, “소설을 쓰려 한다”고 속여 답변을 받은 것으로 드러났다.