AI가 범인 찍어줬는데, 검증할 사람 없네…682억 투자했는데 ‘빈틈’이

경찰 연구용역 보고서 분석
AI 결과 누가 확인할지 공백
미 FBI는 사람이 최종 확인

[경찰청]

경찰이 인공지능(AI) 수사 시스템 도입을 서두르고 있지만 AI 분석 결과를 검증할 절차는 미비한 것으로 나타났다. 경찰 훈령은 기본권 침해 위험이 큰 ‘고영향 AI’에 대해 사람의 관리·감독을 요구하고 있지만 누가, 언제, 어디까지 확인해야 하는지는 정해놓지 않아 제대로 관리가 안 될 가능성이 크다는 지적이다.

23일 경찰 등에 따르면 경찰청이 한국아이티법연구원에 의뢰한 AI 수사역량 강화 연구용역 보고서에는 이 같은 내용이 담겼다. 보고서는 관계망 분석이 특정인을 핵심 인물로 지목하거나 AI가 영장 초안을 작성했을 때 원자료와의 대조 작업을 누가 담당할지 정해져 있지 않다고 짚었다. 이어 추상적인 관리·감독 조항을 실질적인 ‘인간 검증’ 절차로 구체화해야 한다고 제언했다.

AI 활용 도구가 늘어날수록 관리가 제대로 안 될 수 있다는 점도 문제다. 한 사건에 녹취 문자 변환, 번역, 딥페이크(AI 합성 영상) 탐지, 얼굴 후보 검색, 대규모언어모델(LLM) 요약 등이 연달아 쓰이면 도구마다 데이터 복제본과 기록이 따로 남아 증거의 무결성을 입증하기 어려워질 수 있다는 게 대표적인 사례다.

경찰은 2024년 딥페이크 탐지 소프트웨어를 개발해 수사에 활용하기 시작했다. 올해는 수사 지원 AI 생태계 구축 등을 위해 미래치안 연구개발(R&D) 예산 682억원을 편성했다. 이 같은 AI 도구 도입 속도에 비해 이를 검증하고 관리하는 체계 정비는 뒤따르지 못하고 있다는 게 보고서의 지적이다.

경찰의 관리체계 정비가 과제로 남은 사이 범죄자들의 AI 활용은 빠르게 고도화하고 있다. 보고서는 AI 범죄의 본질을 ‘신종 범죄의 확산’이 아닌 ‘기존 범죄의 산업화’로 정의했다. 일례로 2024년 피싱 실험에서 완전 자동화된 AI는 인간 전문가 수준의 클릭률을 기록했다. AI로 만든 공격 트래픽 앞에서 침입탐지시스템의 탐지율이 약 80%에서 1% 미만으로 떨어졌다는 연구도 있다.

AI를 활용한 범죄가 진화하는 가운데 해외 수사기관들은 AI 수사 확대와 함께 검증·관리 체계도 구체화하고 있다. 미국 연방수사국(FBI)은 AI가 만든 단서를 인간 전문가가 반드시 확인하도록 하고 있다. 미국 법무부는 개발부터 퇴역까지 AI를 목록화해 관리한다. 유럽연합 법집행 훈련기관(CEPOL)은 AI를 언제 쓰지 말아야 하는지까지 가르치고 있다.

보고서는 경찰청에 AI위원회를 신설하고 활용 AI의 모델·버전·위험 등급을 중앙에서 관리해야 한다고 주문했다. 실증 샌드박스에서 성능과 편향을 검증한 기술만 단계적으로 현장에 배치하자는 방안도 내놨다. 보고서는 “AI는 수사관을 대신하는 것이 아니라 수사관이 더 많은 증거를 더 신속하고 정확하게 이해할 수 있도록 지원하는 방향으로 사용돼야 한다”고 강조했다.