"스위프트 '음란 딥페이크', 악성 커뮤니티서 '챌린지'로 시작"

美사이트 '포챈' 도마 위에…"게임하듯 AI 안전장치 무력화 시도"

팝스타 테일러 스위프트 [AP=연합뉴스 자료사진. 재판매 및 DB금지]

(서울=연합뉴스) 신재우 기자 = 세계적 팝스타 테일러 스위프트의 이미지를 악의적으로 합성한 '음란 딥페이크'는 유해성 온라인 커뮤니티 포챈(4chan)에서 회원들이 일종의 '챌린지'로 시작했다는 분석이 나왔다.

포챈 이용자들은 인공지능(AI)으로 유명한 여성이 등장하는 음란 이미지를 만들 수 있을지 시험해보는 일종의 게임을 하면서 딥페이크(AI 기술을 기반으로 만들어낸 가짜 이미지)를 만들었다는 것이다.

5일(현지시간) 뉴욕타임스(NYT)에 따르면, 허위정보 연구 회사인 그래피카는 포챈에서 스위프트 딥페이크를 추적해 이같은 잠정 결론을 내렸다.

포챈은 증오 표현, 음모론, AI를 사용해 생성된 인종차별적이고 공격적인 콘텐츠를 공유하는 것으로 악명 높은 미국의 온라인 커뮤니티다.

그래피카는 이 커뮤니티 내에서 오픈AI의 '달리'나 마이크로소프트의 '마이크로소프트 디자이너', '빙 이미지 크리에이터'와 같은 이미지 생성 AI가 설정해놓은 안전장치를 피하려는 시도가 있었다고 밝혔다.

이용자들은 게시판에서 "필터를 우회하는 새로운 방법을 찾기 위한 팁과 요령을 공유하라"는 지시를 받았고, "행운을 빈다, 창의력을 발휘하라"는 말도 들었다.

이후 스위프트가 등장하는 가짜 이미지가 만들어졌고, 몇몇 이용자는 게시판에서 칭찬을 들었으며, 이미지 생성에 사용된 명령 언어를 공유해달라는 요청도 나왔다.

포챈에는 AI로 생성된 노골적인 성적 이미지를 금지하는 규칙이 없는 상태다.

이들은 일종의 게임을 통해 이미지를 만들었다고 그래피카는 지적했다.

스위프트 딥페이크는 지난 1월 6일 포챈에 처음 올라왔고, 11일 후에는 텔레그램에 등장했으며 다음날부터 X(엑스·옛 트위터)를 통해 퍼져나갔다.

X는 이미지 확산을 막기 위해 지난 27일부터 X에서 '테일러 스위프트' 또는 '테일러 스위프트 AI'로 검색하지 못하게 하고 이미지를 삭제했다. 이름 검색 제한 조치는 29일 풀렸다.

크리스티나 로페즈 그래피카 수석연구원은 성명에서 "이런 이미지들은 인AI 제품의 안전장치를 우회하는 '도전'에 동기를 느낀 사람들이 모인 커뮤니티에서 나왔으며, (이곳에서) 새로운 규제는 굴복시켜야 하는 또 다른 장애물로 여겨지고 있다"고 말했다.

그는 "스위프트가 유일한 피해자는 아니다"며 포챈에는 다수의 여배우, 가수, 정치인을 대상으로 하는 딥페이크 이미지가 있었다고 전했다.

포챈은 작년에 한국 등 동맹국들에 대한 미국 정보기관의 도청 활동 등 민감한 내용이 담긴 미국 기밀문건이 대량으로 온라인에 유포됐을 당시에도 유포 창구로 지목된 바 있다.

NYT는 "소프트웨어로 생성된 가짜 포르노는 적어도 2017년부터 문제가 되어왔고, 원치도 않는 유명인, 정부 인사, 트위치 스트리머, 학생 등에게 충격을 줬다"며 허술한 규제로 법적 도움을 받을 수 있는 피해자가 거의 없고, 스위프트처럼 가짜 이미지를 물리칠 수 있는 강력한 팬을 보유한 사람도 드물다고 지적했다.

딥페이크 (CG) [연합뉴스TV 제공]

withwit@yna.co.kr

▶제보는 카톡 okjebo