“선정성 두고 경쟁”…스위프트 딥페이크 사태, 시작은 ‘챌린지’ 였다

美 커뮤니티 포챈에서 촉발
커뮤니티 회원들, 각자 만든 음란 딥페이크 두고 경쟁

세계적 팝스타 테일러 스위프트. [로이터]

[헤럴드경제=김영철 기자] 전 세계적인 논란을 일으킨 팝스타 테일러 스위프트의 음란 딥페이크(가짜 영상 및 이미지) 사태가 미국 한 악성 커뮤니티 사이트 회원들 사이에서 이른바 ‘챌린지’에서 시작된 것으로 확인됐다.

5일(현지시간) 소셜미디어(SNS) 분석 기업 그래피카에 따르면 지난 몇 주 간 온라인 커뮤니티 ‘포챈(4chan)’에서 게시된 선정적인 이미지들을 추적한 결과 스위프트의 음란물이 해당 커뮤니티에서 최초 제작된 것으로 밝혀졌다고 미국 뉴욕타임스(NYT)가 전했다.

보도에 따르면 이 커뮤니티의 회원들은 유명 가수들을 대상으로 ‘누가 더 선정적인 음란물을 만들 수 있는지’를 두고 대결을 펼친 것으로 알려졌다.

그래피카는 이들이 불법 딥페이크를 막기 위해 기업들이 마련한 일종의 ‘방어벽’을 우회하기 위한 방법으로, 마이크로소프트의 디자이너와 오픈AI의 달리 등 AI 이미지 생성 서비스의 필터를 우회할 수 있는 단어와 문구들을 찾았다고 설명했다.

커뮤니티 내에서는 몇몇 회원들에 의해 선정적인 이미지를 생성하는데 필요한 언어 입력값을 서로 공유되기도 했다. 한 회원은 자신이 생성한 딥페이크 이미지에서 나체가 아닌 수영복을 입은 연예인의 모습이 도출돼 안타까워하는 반응도 보였다고 그래피카는 전했다.

크리스티나 로페스 G. 그래피카 수석 분석가는 성명에서 “딥페이크 이미지는 사람들이 생성형 AI 제품의 안전장치를 우회하기 위한 일종의 ‘챌린지’에서 비롯됐다”며 “이들에게서 새로운 규제는 그저 깨기 위한 또 다른 벽에 불과하다”고 설명했다.

그러면서 “딥페이크로 인한 피해자는 스위프트가 끝이 아닐 것”이라며 “더 이상의 악용을 원천적으로 방지하기 위해선 현재 이 같은 음란물 합성이 일종의 게임처럼 취급되고 있는 문화 전반을 이해하는 것이 중요하다”고 강조했다.

실제로 포챈에선 스위프트 외에도 유명인들의 딥페이크 합성물이 여럿 존재한다고 NYT는 전했다.

이와 관련, 오픈AI는 성명을 통해 “스위프트 양의 명시적인 이미지는 자사의 도구를 이용해 생성된 것이 아니다”며 “자사의 달리 모델을 훈련할 때 가장 명시적인 내용을 걸러내고 있다”고 지적했다. 그러면서 “검색어로 공인을 요구하거나 명시적인 내용을 요구하는 요청을 거부하는 등 다른 안전장치를 사용하고 있다”고 덧붙였다.

마이크로소프트 역시 “해당 불법 이미지들을 계속 조사하고 있다”며 “우리 서비스가 딥페이크 생성에 악용되는 것을 방지하기 위해 기존의 안전 시스템을 더욱 강화하고 있다”고 밝혔다.

yckim6452@heraldcorp.com