"스위프트 '음란 딥페이크', 악성 커뮤니티서 '챌린지'로 시작"

美사이트 '포챈' 도마 위에…"게임하듯 AI 안전장치 무력화 시도"

[테일러 스위프트. (AP=연합뉴스 자료사진)]

세계적 팝스타 테일러 스위프트의 이미지를 악의적으로 합성한 '음란 딥페이크'는 유해성 온라인 커뮤니티 포챈(4chan)에서 회원들이 일종의 '챌린지'로 시작했다는 분석이 나왔습니다.

포챈 이용자들은 인공지능(AI)으로 유명한 여성이 등장하는 음란 이미지를 만들 수 있을지 시험해보는 일종의 게임을 하면서 딥페이크(AI 기술을 기반으로 만들어낸 가짜 이미지)를 만들었다는 것입니다.

현지시간 5일 뉴욕타임스(NYT)에 따르면, 허위정보 연구 회사인 그래피카는 포챈에서 스위프트 딥페이크를 추적해 이같은 잠정 결론을 내렸습니다.

포챈은 증오 표현, 음모론, AI를 사용해 생성된 인종차별적이고 공격적인 콘텐츠를 공유하는 것으로 악명 높은 미국의 온라인 커뮤니티입니다.

그래피카는 커뮤니티 내에서 오픈AI의 '달리'나 마이크로소프트의 '마이크로소프트 디자이너', '빙 이미지 크리에이터'와 같은 이미지 생성 AI가 설정해놓은 안전장치를 피하려는 시도가 있었다고 밝혔습니다.

이용자들은 게시판에서 "필터를 우회하는 새로운 방법을 찾기 위한 팁과 요령을 공유하라"는 지시를 받았고, "행운을 빈다, 창의력을 발휘하라"는 말도 들었습니다.

이후 스위프트가 등장하는 가짜 이미지가 만들어졌고, 몇몇 이용자는 게시판에서 칭찬을 들었으며, 이미지 생성에 사용된 명령 언어를 공유해달라는 요청도 나왔습니다.

포챈에는 AI로 생성된 노골적인 성적 이미지를 금지하는 규칙이 없는 상태입니다.

이들은 일종의 게임을 통해 이미지를 만들었다고 그래피카는 지적했습니다.

스위프트 딥페이크는 지난 1월 6일 포챈에 처음 올라왔고, 11일 후에는 텔레그램에 등장했으며 다음날부터 X(엑스·옛 트위터)를 통해 퍼져나갔습니다.

X는 이미지 확산을 막기 위해 지난 27일부터 X에서 '테일러 스위프트' 또는 '테일러 스위프트 AI'로 검색하지 못하게 하고 이미지를 삭제했는데, 이름 검색 제한 조치는 29일 풀렸습니다.

당신의 제보가 뉴스로 만들어집니다.SBS Biz는 여러분의 제보를 기다리고 있습니다.홈페이지 = https://url.kr/9pghjn

짧고 유익한 Biz 숏폼 바로가기

SBS Biz에 제보하기

저작권자 SBS미디어넷 & SBSi 무단전재-재배포 금지