딥페이크 이어 딥보이스 공포…이젠 목소리까지 훔친다

신기술 악용 범람
프로그래밍 모르는 10대도 제작
'캐릭터닷AI'서 목소리 녹음하면
실제 인물과 비슷한 음성 생성
보이스피싱 범죄에 활용되기도
대만선 선거 개표 '조작 영상'까지
구글·오픈AI가 검열 강화하지만
불법 콘텐츠 제작 막는 건 불가능
일각 "유통에 대한 처벌 강화해야"

미국 인공지능(AI) 스타트업 xAI의 챗봇 ‘그록2’로 만든 이미지. ‘미 대선 후보 카멀라 해리스와 북한 김정은이 춤을 추고 있다’(아래)와 ‘미 대선 후보 해리스와 도널드 트럼프가 손을 잡고 있다’고 입력한 뒤 이미지 생성을 주문했다. ‘페이크(FAKE)’ 표시는 오인을 막기 위해 한국경제신문에서 그려 붙였다.

지난해 제주도에서 음성 변조 앱을 이용해 피해자를 속이고 돈을 갈취한 범인이 체포됐다. 이 범죄자는 일본인 가수, 소속사 팀장, 다른 동료 가수 등으로 행세하며 피해자에게 57차례에 걸쳐 약 1600만원을 뜯어냈다.

 ○10대 AI 범죄가 늘어난 이유

29일 업계에 따르면 일파만파로 커진 딥페이크 성범죄(사람 얼굴에 음란물 합성) 사태가 인공지능(AI) 범죄의 시작에 불과하다는 지적이 나온다. 불법 동영상을 만들거나 음성을 변조해 범죄에 이용하는 등 AI 범죄 유형이 점점 다양해지는 모양새다.

전문가들은 최근 2~3년 새 ‘쉬운 AI’를 표방하는 서비스가 속속 등장하며 범죄의 문턱이 낮아졌다고 입을 모았다. 컴퓨터 프로그래밍을 전혀 모르는 10대 청소년도 클릭 몇 번으로 딥페이크와 딥보이스(음성 위조) 기술을 쓸 수 있다는 것이다. 경찰청에 따르면 딥페이크 성범죄 피의자 중 10대 비중은 2021년 65.3%에서 올해(7월 누적 기준) 73.6%로 늘었다.

몇 년 전만 해도 딥페이크 제작을 위해선 AI 관련 컴퓨터 비전과 ‘생성적 적대 신경망(Generative Adversarial Networks·GANs)’ 기술을 이해하고 관련 정보기술(IT) 서비스를 다룰 줄 알아야 했다. 지금은 스마트폰 앱 장터에서 관련 앱을 설치하거나 웹에서 제작 서비스를 쉽게 찾을 수 있다.

한 AI 스타트업 대표는 “시중에서 구할 수 있는 딥페이크 프로그램이 조잡하긴 하지만 완성도가 점점 높아지고 있다”며 “1년 차 개발자도 오픈소스, 데이터 세트 등을 활용해 진짜 같은 사진을 쉽게 만들 수 있다”고 말했다.

불법 콘텐츠 종류도 다양해지고 있다. 현재 유통되는 불법 딥페이크 음란물은 주로 2차원(2D) 이미지인 것으로 알려졌다. 하지만 최근 영상, 음성 데이터까지 두루 처리하는 멀티모달 기술이 발달하며 고화질 동영상 제작이 간단해졌다. 지난 2월 오픈AI가 동영상 생성 AI 서비스 ‘소라’를 공개한 이후 구글 ‘비오’, 런웨이 ‘젠’ 등 비슷한 기술과 서비스가 잇따라 나왔다. 1월 대만에서는 총통 선거(대선) 개표 조작 동영상이 퍼져 논란이 됐다.

 ○얼굴뿐 아니라 목소리도 훔쳐

AI로 사람 목소리를 훔쳐 조작하는 딥보이스 범죄 역시 늘고 있다. 중국 보이스피싱 범죄 조직인 ‘김군일파’는 국내 방송에 출연한 유명 검사의 목소리를 AI로 조작해 범죄에 이용하려다가 지난해 경찰에 잡혔다.

딥보이스 제작도 쉬워졌다. 생성형 AI 서비스 중 챗GPT 다음으로 이용자가 많은 캐릭터닷AI에선 3~15초 정도 목소리를 녹음하면 그 목소리와 비슷한 음성으로 콘텐츠를 제작할 수 있다. 한 달에 1만원가량 내면 실제 목소리와 같은 수준의 음성을 생성해주는 서비스도 계속 출시되고 있다.

업계에서는 AI 활용 불법 콘텐츠 제작을 막는 것은 사실상 불가능하다는 얘기가 나온다. 구글, 오픈AI 등 대부분 AI 기업은 검열을 강화해 이용자가 불법 콘텐츠를 만들지 못하게 막고 있다. 하지만 고성능 AI를 활용한 서비스가 지속적으로 나오는 데다 모든 업체가 높은 수준으로 검열하지는 않는다.

AI 서비스 간 경쟁이 심해지자 검열 수준이 전체적으로 떨어졌다는 지적이 제기된다. 이용자와 관련 데이터를 확보하기 위해서다. 일론 머스크 테슬라 최고경영자(CEO)가 창업한 AI 스타트업 xAI가 지난 13일 출시한 AI챗봇 ‘그록2’는 저작권과 초상권 침해, 명예훼손 여지 등이 있는 이미지를 쉽게 생성할 수 있어 논란이 일고 있다.

현재로서는 콘텐츠 제작보다 유통에 대한 처벌을 강화하는 방법밖에 없다는 주장이 나온다. 최근 프랑스 정부가 텔레그램 창업자이자 CEO인 파벨 두로프를 체포해 온라인 성범죄 등 각종 범죄를 공모한 혐의로 기소한 것도 이런 맥락에서다.

김주완 기자 kjwan@hankyung.com