LLM이 사이버 범죄자 잡는다… AI 챗봇이 대화로 금융정보 파악 가능

영국 보안업체 넷크래프트, 2년간 연구
사이버 범죄자가 계좌번호 이야기 할 때까지 AI 챗봇이 설득
“공격자들, 상대가 AI 챗봇인지 실제 사람인지 파악 어려울 것”

일러스트=달리3

대규모언어모델(LLM)을 기반으로 한 챗봇이 사이버 범죄자들과 소통하며 사이버 위협 인텔리전스(사이버 시스템의 안전을 위협하는 정보를 수집해 상황을 분석하고 대응하는 방법)를 수집할 수 있다는 주장이 제기됐다.

16일 영국 보안업체 넷크래프트는 사이버 범죄자들이 탈취한 자금을 이체하는데 사용한 73개국, 600개 이상 금융기관의 계좌번호를 오픈AI의 챗GPT를 활용해 알아냈다고 밝혔다. 범죄자들이 인공지능(AI) 챗봇에 계좌번호를 제공하도록, 챗봇이 설득하는 데 성공했다는 것이다.

로버트 던컨 넷크래프트 제품 전략 담당 부사장은 “챗봇이 여러 정보를 알아낸 덕분에 사이버 범죄자들이 자금을 탈취하는데 사용한 인프라와 관련 상세 정보를 추출할 수 있었다”며 “챗봇을 사이버 방어에 활용하는 것은 놀라울 정도로 강력한 방법”이라고 말했다.

사이버 범죄자들은 피해자를 찾기 위해 대규모 이메일과 문자메시지 캠페인을 진행하고 있다. 넷크래프트는 2년에 걸친 연구 프로젝트를 통해 사기범과 연결된 수천 개의 계좌를 발견했다고 전했다. 사기범들의 계좌는 주로 미국과 영국에 있었고, 피해자와 같은 국가의 은행 계좌를 사용하는 경우가 많았다.

넷크래프트에 따르면 일반적으로 사기범들은 피해자에게 결제 수단으로 암호화폐나 기프트카드를 구매하도록 유도한다. 그러나 대화를 오래 지속하면 이들이 은행 계좌 정보를 AI 챗봇에 넘기는 경우가 많다는 것이 넷크래프트의 설명이다. 은행 계좌 정보를 넘길 때까지 평균적으로 사이버 범죄자들은 32개의 메시지를, 챗봇은 15개의 답장을 보내는 것으로 집계됐다.

AI 챗봇은 사이버 범죄자들로부터 중요한 위협 데이터를 수집할 수 있는 것으로 확인됐다. 넷크래프트에 따르면 한 피해자에게 500만달러의 송금을 약속한 사기범이 초기 수수료를 받기 위해 12개 은행, 17개 계좌에 대한 정보를 보내기도 했다. 다른 사기범들은 도이치뱅크나 나이지리아 중앙은행과 같은 특정 은행을 사칭해 피해자에게 돈을 이체하도록 유도했다. 챗봇은 이 같은 정보를 모두 합법적으로 수집했다.

넷크래프트는 현재 실험을 통해 심층적인 위협 인텔리전스를 확보하는 데 중점을 두고 있다. 하지만 이 플랫폼을 대규모로 운영하면 방어자가 오히려 공격자를 공격할 수 있다고 보고 있다. 공격자들은 이메일이나 메시지를 자동으로, 대규모로 보내면서 방어자가 대처하기 어렵게 만들고 있다. 하지만 AI 챗봇과의 대화 시스템에 사이버 범죄자들이 광범위하게 참여하면 이들은 오히려 이 대화가 진짜 피해자와의 대화인지 AI 챗봇과의 대화인지 파악하기 위해 어려움을 겪을 것이라는 전망이다.

앞서 넷크래프트는 지난 5월 미국 샌프란시스코에서 열린 RSA 컨퍼런스에서 이 같은 방식을 활용한 ‘대화형 스캠(온라인 사기) 인텔리전스 플랫폼’을 발표했다. 던컨 부사장은 “범죄자들의 숨겨진 금융 인프라를 정확하게 식별해낼 수 있고 향후 공격을 방해하고 예방하는 데 활용할 수 있다”며 “넷크래프트는 수년 동안 AI를 활용해 범죄 인프라를 제거하는 엔드투엔드 프로세스를 효과적으로 자동화해 왔다. 생성형 AI의 혁신을 통해 이 기술을 활용하는 메커니즘을 개발했다”고 말했다.

- Copyright ⓒ 조선비즈 & Chosun.com -