AI로 만든 가짜 목소리·얼굴…보이스피싱 더 치밀해진다

英 은행 속이는 AI 도구 활용 84% 증가
"은행서 신원 확인시 가짜 사진, 음성 사용↑"
정교한 '딥페이크' 기술…"4분의 3 식별 못해"
다크웹에 '악성 챗봇'격인 '사기GPT'도 등장

[이데일리 이소현 기자] 인공지능(AI) 개발 열풍 이면에 ‘보이스피싱’과 같은 사기 행각이 생성형 AI 기술을 만나 진화하고 있어 이에 대한 대비책이 필요하다는 경고음이 커지고 있다.

(사진=게티이미지)

18일(현지시간) 파이낸셜타임스(FT)는 AI 기술의 지속적인 발전과 보급으로 인해 신중한 소비자들도 AI를 기반으로 한 사기로 인해 막대한 금전적 손실을 볼 위험이 커지고 있다고 보도했다.

글로벌 회계·컨설팅기업인 프라이스워터하우스쿠퍼스(PwC)의 은행 및 결제 사기 전문가인 알렉스 웨스트는 범죄자들이 AI를 가장 많이 사용할 것으로 예상하는 방법의 하나로 ‘음성 복제’를 꼽았다. 이른바 AI로 조작한 가짜 목소리 ‘딥보이스’가 사기에 활용돼 무차별적으로 감쪽같이 속인다는 것이다. 그는 “사기꾼들이 AI를 사용하고 있지만, 언제 사용했는지 구분할 수 없을 수도 있다”며 “더 정교한 사기 시도가 늘어날 것은 분명하다”고 말했다.

실제 미국 서부의 한 매장 매니저로 일하고 있는 피츠제럴드는 딥보이스에 당해 곤욕을 치렀다. 최근 전화 한 통을 받았는데 딸이 납치를 당했다며, 비명을 지르는 소리를 듣고선 놀란 마음에 협박범들의 요구대로 현금을 인출하기위해 은행으로 곧장 달려갔다. 전화 통화를 계속하며 이동하던 그는 같은 시각 우연히 딸의 문자를 받고서야 전화 속 목소리가 딸이 아님을 알아챘다. 딸의 목소리를 똑같이 조작한 가짜 목소리로 벌인 정교한 사기극이었던 것. 그는 “그 순간 딸 아이를 보호할 방법이 없었다”며 “당시 내가 가진 모든 재산을 내놓을 생각뿐이었다”고 말했다.

이처럼 AI 기술의 고도화가 사기에 활용되면서 보안이 생명인 금융기관의 주요 걱정거리로 떠올랐다. 스티브 콘웰 영국의 대형은행 로이드 TSB의 사기 위험 책임자는 “생성형 AI가 발전하는 방식을 생각해보면, AI 기술이 합성 음성을 사용해 사용자와 실시간으로 대화할 수 있는 시기가 머지 않았다”고 말했다.

챗GPT와 같은 생성형 AI가 일상화되면 사기도 늘어날 것이라는 우려가 제기된다. 한 고위 정치인은 FT에 “사기꾼들의 자금력과 기업적인 조직력이 뛰어난 점이 우려스럽다”며 “AI 도입이 증가하면 사기 감소세 추세는 역전될 수 있다”고 말했다.

실제 영국 금융산업사기방지기구(CIFAS) 데이터에 따르면 은행 시스템을 속이는 데 사용되는 AI 도구에 대한 보고가 84% 증가했다. 스티븐 달튼 CIFAS 인텔리전스 디렉터는 “은행 애플리케이션에서 신원 확인 중 딥페이크 이미지, 비디오, 오디오의 사용이 증가하고 있다”며 “신청 단계에서 수행되는 실시간 검사 결과로 합성 여부가 발각되고 있다”고 경고했다.

(사진=게티이미지)

이어 딥보이스에 이어 ‘딥페이크’로 알려진 AI로 조작한 가짜 동영상도 주요 위험 요소로 꼽힌다. 2019년 등장한 이 기술은 빠르게 발전하고 있다. 메타 등 기업에 자문을 제공한 헨리 아즈더 AI 생성형 전문가는 “최근 18개월간 급속도로 발전해 진입 장벽이 훨씬 낮아졌다”고 말했다.

앤드류 버드 생체인식기술 업체 아이프루브(iProov) 최고경영자(CEO)는 최근 실험 결과 참가자 4분의 3 이상이 딥페이크를 식별하지 못했다며, 딥페이크 비디오의 품질이 놀라울 정도로 향상됐다고 밝혔다. 그는 “양질의 딥페이크는 다크웹에서 150달러 정도에 거래되고 있다”고 전했다.

다크웹에는 챗GPT의 악성 챗봇격인 ‘사기GPT(FraudGPT)’와 ‘웜GPT(WormGPT)’ 구글의 인공지능인 바드의 나쁜 버전인 다크바트(DarkBART) 등 범죄에 초점을 맞춘 도구들도 등장했다. 범죄자들이 다크웹을 통해 제공되는 이러한 도구를 활용해 해킹하거나 메시지 앱을 통해 소통하면서 지능형 피싱 이메일로 사용자를 특정해 공격할 수 있다는 것이다. 나탈리 켈리 비자(Visa) 유럽 최고 위험책임자는 “요즘에는 진짜와 가짜를 구분하기 어려울 수 있다”고 경고했다.

기업들은 고도화된 AI 관련 사기에 보안에 대한 투자를 확대하고 있다. JP모건은 최근 AI 기술에 매년 150억 달러를 투자하고 6만2000명의 전문가를 고용했으며, 이들 중 상당수는 사이버 범죄 증가에 대응하는 데만 집중하고 있다. 메리 칼라한 에르도스 JP모건의 자산 관리 책임자는 최근 열린 다보스 포럼에서 ”사이버 범죄자들이 AI를 사용하는 것이 큰 우려 사항”이라며 “사기꾼들은 더 똑똑해지고, 영리해지고, 빨라지고, 교묘해지고, 장난스러워지고 있다”고 말했다.

이소현 (atoz@edaily.co.kr)