“그록, 비키니 입혀줘” 순식간에 300만장…선 넘은 머스크의 ‘딥페이크 돈벌이’

일론 머스크가 출시한 대화형 인공지능 ‘그록’ 애플리케이션을 켠 태블릿 뒤로, 컴퓨터 화면에 인공지능 이미지·영상 생성 사이트인 ‘그록 이매진’의 모습이 보인다. AFP 연합뉴스

(☞한겨레 뉴스레터 H:730 구독하기. 검색창에 ‘h:730’을 쳐보세요.)

영국 링컨셔 출신의 22살 사진작가 에비는 새해 첫날 자신의 휴대전화를 열었다가 깜짝 놀랐다. 소셜미디어 엑스(X)에 옷을 입은 자신의 사진이 비키니를 입은 채 베이비오일을 바른 사진으로 조작돼 있었다. 일론 머스크의 인공지능 기업인 엑스에이아이(xAI)는 2025년 12월 말 엑스를 통해 사용자의 태그 요청만으로 이미지를 변형해 게시할 수 있는 기능을 추가했는데, 지난달 31일 머스크가 직접 그록으로 만든 자신의 비키니 차림 사진을 게시하며 홍보하자 사람들이 엑스에 올라온 실제 사진들로 실험해보기 시작했던 것이다. 놀란 에비가 그록의 새 기능이 위험하다고 비판하는 글을 올렸더니, 일부 엑스 사용자들은 그녀의 사진을 이용해 더욱 불쾌한 이미지를 만들어내기 시작했다. 에비는 영국 일간지 가디언과의 인터뷰에서 “제가 싫어하는 것을 보고 더 심하게 만들려고 했던 것 같다. 이런 사진이 만들어질 수 있다는 그 자체가 충격이었다”고 털어놨다.

공격·오락거리 된 ‘딥페이크’ 성적 콘텐츠…역대 최대 규모

일명 “비키니를 입혀줘” 명령어는 엑스에서 크게 유행했다. ‘딥페이크’(실존 인물의 이미지를 변형하는 것)는 점점 과도해져 갔다. 미성년자나 어린아이로 보이는 이미지들도 게시됐다. 일부 사용자들은 멍 자국을 넣어달라거나, 사진에 피를 추가해달라는 요구를 하기 시작했는데 그렇게 제작된 폭력적인 이미지도 그대로 소셜미디어에 공유됐다. 미국 이민세관단속국(ICE)에 의해 지난달 7일 살해된 러네이 니콜 굿의 얼굴에 총알 자국을 추가해달라는 요청, 노출 사진을 만들어달라는 요청도 들어왔다고 여러 언론이 전했다. 얼굴 사진이 공개될 수밖에 없는 연예인, 아이돌, 유명 인사 등의 이미지가 널리 이용됐다. 테일러 스위프트, 아리아나 그란데, 카멀라 해리스 전 부통령 등이 피해를 입었다. 피해자 가운데엔 머스크의 아이를 낳은 인플루언서 애슐리 세인트 클레어도 있었다. 그는 지난달 15일 뉴욕 연방법원에 소송을 내고 자신을 비판하는 이들이 엑스에서 자신의 사진을 악용해 나치 문양을 입힌 비키니를 입히거나, 머스크와 관련된 모욕적인 말을 문신으로 새겨넣은 이미지를 만들었다고 했다. 머스크와 사이가 좋지 않은 자신을 누리꾼들이 공격 대상으로 삼았다는 것이다.

뉴욕타임스에 따르면 12월31일~1월8일 새 약 440만장의 이미지가 공개적으로 게시됐다. 그 직전 9일간 그록이 생산한 인공지능 이미지를 다 합쳐도 31만1762건에 불과했던 데 견주면 폭발적으로 늘어난 수다. 이 중 최소 41%가 여성의 성적 이미지로 추정된다. 디지털혐오대응센터(CCDH)도 표본 추출 분석 결과, 그록이 11일간 아동 성착취물 2만3천장을 포함해 300만장의 성적 이미지를 생산한 것으로 추정된다고 했다. 과거 실존 인물 딥페이크를 만들던 사이트 ‘미스터 딥페이크스’가 2023년 피해자 3800명의 사진으로 만든 조작 이미지를 4만3천건 게시했다 논란 끝에 폐쇄된 사례와 대비하면 엄청난 규모다.

머스크, ‘19금’ 팔아 노린 것은 결국 ‘수익’

이러한 사태는 머스크가 그록을 설계할 때부터 예견됐다. 선정성을 강조하는 것은 2023년 뒤늦게 인공지능 챗봇 경쟁에 뛰어든 머스크가 선발주자를 따라잡기 위해 내세운 ‘차별화 전략’이었다. 챗지피티를 만든 오픈에이아이, 제미나이를 내놓은 구글 등 경쟁사들이 인공지능 윤리나 안전성을 이유로 성적인 콘텐츠 생성을 엄격히 제한한 것과 달리, 머스크는 다른 인공지능 모델들이 대답하지 않는 것도 그록이 “유머러스하게” 대답해줄 수 있다면서 ‘코카인 만드는 법’을 묻는 질문을 갈무리해 공유한 적도 있다. 제한 없는 인공지능 설계 결과, 지난해 3월 엑스에 사용자 질문을 받는 그록 기능이 도입된 뒤 그록 계정에서 인종차별적 욕설을 사용하는 빈도가 급증하는 현상이 드러났다. 사용자가 입력(프롬프트) 단계에서 유해한 정보를 묻거나 비윤리적인 요청을 할 때 답하지 않도록 하는 안전장치인 ‘프롬프트 필터링’ 등을 제대로 적용하지 않았다는 비판이 나왔다. 히틀러 찬양, 반유대주의 발언도 쏟아졌다. 머스크는 그록에서 캐릭터 챗봇 ‘애니’와 성적인 대화를 나눌 수 있다고 홍보했고, 성적인 이미지·영상을 제작해주는 ‘스파이시 모드’도 출시했다.

머스크는 안전장치 마련에 반대한 것으로 알려졌다. 지난달 23일 미국 캘리포니아 지방법원에 제기된 집단 소장을 보면, 엑스에이아이의 내부 지침은 “특정하게 명시하지 않는 한, 시스템에서 성인용 성적 콘텐츠나 공격적인 콘텐츠에 제한을 두지 않는다”는 것이었다. 시엔엔은 내부 관계자를 인용해, ‘비키니 입혀줘’ 사태 발생 몇주 전 인공지능 안전팀 직원 여러명이 일을 그만두는 등 이 문제로 갈등이 있었다고 보도했다. 전 오픈에이아이 안전연구원이었던 스티븐 애들러는 “이미지에 아이가 있는지 여부를 판단해, 인공지능이 좀 더 신중하게 이미지를 만들도록 하는 안전장치를 마련하는 것은 분명히 가능하다”고 못 박았다. “대신 그런 안전장치엔 비용이 따른다. 응답 시간이 느려지거나 연산량이 증가하고 때로는 문제없는 요청도 거부당하는 일이 있을 수 있다.”

머스크가 소유한 거대 소셜미디어 플랫폼 엑스에 그록을 통합시킨 것도 사건을 키운 이유다. 다른 이미지 생성 인공지능은 사용자가 생성한 이미지를 인터넷에 게시하지 않지만, 그록의 답변은 5억6천만명의 월간 활성 사용자(MAU)를 확보한 소셜미디어 안에서 공개적으로 게시되었다. 논란이 일자 엑스에이아이는 성적 콘텐츠 생성·편집 기능은 엑스 프리미엄 회원(유료)에게만 제공하겠다고 밝혔는데, 자유로운 성인 콘텐츠 제작을 하고 싶은 사용자들이 엑스 유료 회원에 가입하도록 유도해 상업적인 이익을 극대화하고 있다는 비난을 받고 있다.

선정성 전략이 역풍 불러…딥페이크 이미지 규제 흐름 강화할 듯

머스크의 전략은 역풍으로 돌아온 모양새다. 불과 며칠 만에, 아동 성착취물을 포함해 전례 없는 규모의 성적 이미지가 확산된 데 전세계가 놀랐다. 인도네시아·말레이시아·필리핀 등은 그록을 일시 접속 차단했고, 한국을 비롯해 영국·인도·브라질·일본 등의 규제기관은 그록과 엑스에 대한 공식 조사에 착수했다. 미국 캘리포니아주 등에서도 조사가 시작됐다. 논란이 커지자 머스크는 인공지능 콘텐츠를 생성한 법적 책임은 사용자에게 있다고 주장했다. 또 외국 규제당국이 엑스를 조사하는 것을 두고, 외국 정부들이 미국 기업의 ‘표현의 자유’를 억압하려 한다고도 주장하고 있다. 그러나 설계 단계부터 안전 의무를 소홀히 했다는 책임을 피하기는 어려워 보인다.

성인용 콘텐츠를 수익성을 확보하고 사용자를 늘리는 수단으로 쓸 것을 검토해온 다른 인공지능 업계도 이번 사태로 인한 여파에 주목하고 있다. 앞서 오픈에이아이의 샘 올트먼 최고경영자는 앞으로 챗지피티에서 연령 인증을 완료한 사용자들에게는 성적인 대화를 허용하겠다고 했었다. 치고 올라오는 그록을 겨냥한 조치로 해석됐다. 그러나 이번 사태로 세계적인 규제 여론에 힘이 실리면서, 강화된 안전장치 도입 없이는 적용이 쉽지 않을 것이라는 관측이 나온다. 미국 안에선 딥페이크 이미지에 대한 처벌 조항이 명확하지 않다는 점도 다시 논란으로 떠오르고 있다. 연방법에 아동 성착취물 관련 처벌 조항이 있지만, 인공지능으로 변형한 딥페이크 이미지의 경우 명확한 규정이 존재하지 않는다. 주 차원에서 개별 규제로 막고 있지만, 이번 사태로 관련 법 조항을 정비해야 한다는 목소리가 힘을 얻고 있다.

정유경 기자 edge@hani.co.kr