딥페이크의 공습...전쟁 여론·대선구도까지 바꾼다

[WEEKLY BIZ] [Cover Story] 무분별 양산되는 딥페이크, 원본 없이 가짜 만들기도

WEEKLY BIZ 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/146096

그래픽=김의균·Midiourney

“중국 남자와 결혼하고 싶어요.”

최근 샤오훙수(小紅書)와 같은 중국 소셜미디어에선 ‘나타샤’ ‘소피아’ 같은 이름을 쓰는 금발 러시아 여성들이 유창한 중국어로 중국인들에게 구애하는 영상이 유행했다. 이 러시아 여성들은 러시아 남자는 술에 취해 게으르다고 불평하면서, 중국인 남편을 위해 요리와 빨래를 하고 싶다고 중국 남심(男心)을 자극한다. 그러나 이 모든 건 사실 교묘하게 꾸민 가짜였다고 이코노미스트가 최근 보도했다. 영상 속 러시아 여성으로 얼굴이 도용된 우크라이나 국적 올가 로이에크는 최근 자기 유튜브에서 “딥페이크 영상에서 나를 보게 될 줄 몰랐다. 진짜 섬뜩했다”며 피해를 호소하기도 했다.

중국 소셜미디어에 올라온 우크라이나 여성 올가 로이에크의 딥페이크 영상. 영상 속 그는 “중국인 남자친구를 너무 사귀고 싶다”는 등 중국 남성들에게 구애를 하고 있다./BBC 화면 캡처

장자의 ‘호접지몽(胡蝶之夢)’처럼 현실과 비현실을 오가는 딥페이크(Deepfake·AI로 만든 진짜 같은 가짜 콘텐츠) 세상이 펼쳐지며 파장이 커지고 있다. 디지털 신원 확인 보안 업체 ‘섬서브(Sumsub)’가 지난해 탐지한 딥페이크 콘텐츠는 전년보다 약 10배 급증했다. 게다가 생성형 인공지능(AI)에 한 줄 지시만 내리면 순식간에 그럴듯한 가짜를 만들어내는 세상이 되면서 증가세는 더 거세질 전망이다.

2018년 세계 최초 이미지 보안 서비스를 내놓은 글로벌 딥페이크 보안 업체 ‘센시티’의 프란체스코 카발리(Cavalli) 공동 대표는 WEEKLY BIZ 화상 인터뷰에서 “AI의 등장 이후 맨눈으로는 사실상 진위를 구별해 낼 수 없는 가짜 영상이 끝없이 양산되고 있다”며 “이제는 사진·영상 원본이 없어도 무(無)에서 가짜를 창조하는, 그야말로 ‘딥페이크의 시대’가 도래했다”고 했다.

6년 전 네덜란드에서 설립된 센시티는 현재 인도, 대만 등 전 세계 21국 정부 및 공공 기관에 딥페이크를 걸러내고 막아내는 통합 서비스를 제공한다. WEEKLY BIZ는 딥페이크 보안 분야 최고 전문가 중 하나로 꼽히는 카발리 대표와 함께 디지털 세계에서 진짜와 가짜의 경계를 허물고 있는 딥페이크 기술에 대해 알아봤다.

프란체스코 카발리 센시티 공동 대표. 센시티는 2018년 세계 최초의 이미지 보안 서비스를 내놓은 글로벌 딥페이크 대응 업체다./센시티 제공

◇눈덩이처럼 불어나는 딥페이크 사건

올해 3월 러시아 국영방송 NTV에선 우크라이나의 올렉시 다닐로우 당시 국가안보국방위원회(NCS) 서기의 인터뷰 영상이 흘러 나왔다. “오늘 모스크바에서 재미를 좀 봤습니다. 우리는 그들을 위해 더 자주, 재밌는 일을 준비할 것 같습니다.” 러시아 수도 모스크바의 한 대형 공연장에서 총격으로 137명이 사망하는 참사가 발생한 직후, 러시아 국영방송에선 전쟁 상대국인 우크라이나가 이 참사의 주범인 듯 인터뷰 영상을 내보냈다. 하지만 영국 BBC의 검증 결과, 러시아 국민의 공분을 산 이 영상은 다닐로우 서기의 이전 인터뷰를 짜깁기한 것이었고, 테러는 이슬람 무장 단체 소행으로 전해졌다. 딥페이크 기술이 대중의 눈과 귀를 감쪽같이 속일 만큼 발전했고, 국가 공영방송에서 이를 여론전에 동원할 만큼 파급력이 커진 것이다.

갈수록 딥페이크 기술이 정교해지면서 지난해엔 도널드 트럼프 전 미국 대통령이 경찰에게 체포되는 그럴듯한 ‘가짜’ 이미지가 미국 국민을 현혹하기도 했다. 미국뿐이 아니다. 섬서브에 따르면, 딥페이크로 일어나는 각종 사건·사고 피해는 전 세계 곳곳에서 동시다발적으로 급증세다. 지난해엔 전년 대비 북미에서 17.4배, 아시아·태평양 15.3배, 유럽이 7.8배 증가했다.

그래픽=김의균

-딥페이크 악용 사례가 나날이 급증하는 이유는.

“가짜 만들기가 너무 쉽기 때문이다. 각종 딥페이크 프로그램이 오픈 소스(온라인에 있는 무료 프로그램)로 풀리면서 누구나 딥페이크로 가짜 이미지, 음성, 영상을 만들 수 있게 됐다. 특히 미국·유럽 등 선진국을 중심으로 딥페이크 기술이 빠르게 발전하고 있다. 과거에는 딥페이크 영상을 만들려면 여러 사진과 영상이 있어야 했는데, 이제는 사진 한 장만으로도 가능해졌다. 가짜 영상을 제작하는 시간도 수십 분에서 초 단위까지 줄기도 했다. 딥페이크 기술을 쉽게 얻을 수 있고 사용이 간편해지면서 부작용도 커진 것이다.”

-AI의 영향도 클 것 같다.

“AI가 딥페이크의 새로운 시대를 열었다고 해도 과언이 아니다. AI를 활용하면 아무런 소스 없이도 원하는 콘텐츠를 만들 수 있다. 최근에 오픈AI(챗GPT 개발사)는 텍스트를 입력하면 영상을 만들어주는 AI 창작 도구 ‘소라’를 공개했다. (소라 정도의 기술 수준이면) 몇 단어만으로 유명인의 딥페이크 영상을 만들기가 어렵지 않을 정도로 기술이 발전했다는 얘기다. 앞으로 이런 AI 창작 도구는 계속 나올 것이고, 딥페이크 영상도 기하급수적으로 늘어날 것이다.”

◇K팝 스타 얼굴 도용한 음란물까지

딥페이크는 음란물 제작이나 투자 권유 사기 등 음지에서 기승을 부리고 있다. 사이버 보안 업체 홈시큐리티히로스에 따르면, 지난해 온라인에 유통된 딥페이크 영상은 총 9만5820건으로 2019년 대비 5.5배 급증했다. 이 중 음란물 영상은 지난해에 2만1019건이 돼 전년의 5.6배로 가파르게 늘었다. 더구나 K팝의 세계적 인기 등으로 가짜 음란물 영상의 피해자 53%가 한국인이었다는 게 이 업체 집계다.

센시티가 최근 공개한 ‘딥페이크의 현주소 2024′ 보고서에 따르면, 딥페이크는 주로 세 유형에서 일어난다. 여론 선동과 신용 사기, 금융기관 대상 고객 신원 확인 사기다. 가장 많이 알려진 여론 선동은 주로 유명 인사의 딥페이크 콘텐츠를 만들어 대중을 속이는 방식이다. 센시티에 따르면, 딥페이크에 악용된 직업은 정치인이 39.2%로 가장 많고, 연예인(29.4%), 기업인(19.6%), 테러범(6.9%) 등이 뒤를 이었다. 신용 사기는 신원 증명서 위조가 대표적이다. 디지털 신원 확인 보안 업체 ‘섬서브’의 조사 결과, 딥페이크 사기에 활용된 신원 증명서 유형은 신분증 72.8%, 여권 14.5%, 운전면허증 11.1% 등이었다.

그래픽=김현국

-가장 기승을 부리는 딥페이크 유형은.

“특정 이익을 얻기 위해 유명인이 등장하는 가짜 콘텐츠를 만들어 퍼뜨리는 ‘여론 선동’이다. 여론 선동은 국가와 지역을 불문하고 소셜미디어를 통해 매일 발생한다. 신뢰도나 인지도가 높은 사람의 얼굴과 입으로 자기들이 원하는 메시지 전달이 목적이다. 가령 마이크로소프트 창업자인 빌 게이츠의 얼굴로 “우리는 앞으로 어떤 가상화폐에 투자하기로 했다”는 식의 딥페이크 영상을 만들어 가격을 부풀리는 것이다. 이 외에도 유명 연예인의 얼굴을 도용해 화장품 광고를 하거나 온라인 카지노를 홍보하는 식으로도 악용한다.”

-금전적 피해도 클 것 같다.

“금전적 피해는 주로 신용 사기와 고객 신원 확인 사기에서 일어난다. 피해자는 개인부터 기업, 금융기관까지 다양하다. 개인을 대상으로 한 딥페이크 범죄는, 아름다운 여성의 얼굴로 딥페이크 영상을 만들어 친분을 쌓은 뒤 개인 정보 등을 요구하는 ‘로맨스 스캠’, 지인의 목소리나 얼굴로 송금을 부탁하는 ‘지인 사칭’ 등이다. 기업들도 딥페이크 공격을 피하기 어렵다. 최근 홍콩에서는 한 기업의 최고재무책임자(CFO) 딥페이크 영상을 만들어 회사 직원들과 화상 통화를 하는 수법으로 2600만달러(약 358억원)를 가로챈 사건도 있었다.”

그래픽=김현국

◇전쟁 여론, 대선 구도까지 바꾸는 딥페이크

딥페이크는 경제적 타격뿐 아니라 정치적 여론전에 동원돼 걷잡을 수 없는 상흔을 남기기도 한다. 특히 올해는 전 세계 76국에서 선거를 치르는 ‘선거의 해’인 만큼 각국에서 딥페이크 영상이 확산하고 있다. 세계 최대 민주주의 선거라는 인도 총선에선 나렌드라 모디 총리가 발리우드 스타일 춤을 추는 가짜 영상까지 나돌았다. 이 외에도 각국 선거전에선 후보자들이 가짜 공약을 말하거나 욕설과 막말을 내뱉는 식의 딥페이크 영상이 나오기도 했다.

그래픽=김현국

-딥페이크의 정치적 파장도 클 것 같다.

“실제로 최근 치른 인도, 인도네시아 등의 선거 때 딥페이크 영상이 마구 퍼졌다. 세계인이 주목하고 있는 올 11월 미국 대선은 아직 5개월이나 남았지만, 대선 후보자 경선 때부터 딥페이크 공격이 이미 시작됐다. 가령 도널드 트럼프 전 대통령과 공화당 대선 후보 경쟁을 한 론 디샌티스 플로리다 주지사는 경선 과정에서 딥페이크 영상이 48건 제작된 것으로 조사됐다. 디샌티스 후보가 ‘경쟁을 포기하겠다’고 말하는 등 조작된 영상들은 당시 디센티스 후보의 이미지에도 악영향을 줬다고 본다.”

-국가 간 문제로 번지는 경우는 없나

“대표적으로 전쟁 중인 러시아·우크라이나, 이스라엘·하마스 등에선 딥페이크로 여론전(戰)을 벌이고 있다. 하마스는 어린아이들이 죽은 가족 앞에서 울고 있는 이미지를, 이스라엘은 가자지구 주민들이 이스라엘 국기를 들고 환호하는 영상 등을 가짜로 만들어 대중을 선동했다. 딥페이크가 무기화됐고, 국가 간 여론전에 이미 동원되고 있는 것이다.”

◇'딥페이크 주의보’ 발령한 각국 정부·기업

딥페이크 파장이 커지면서 각국 정부와 기업도 속속 대응에 나서는 추세다. 미디어 검증 플랫폼 ‘어테스티브’에 따르면, 최근 글로벌 기업 가운데 딥페이크에 ‘대응 중’(29%)이라거나 ‘대응할 계획’(25%)이라고 응답한 비율이 절반을 넘어섰다.

-딥페이크에 대한 완벽한 대응이 가능할까.

“완벽하게 딥페이크를 걸러내기는 어려움이 많은 게 사실이다. 최근 소셜미디어에서 발생하는 ‘여론 선동’도 영상이 업로드되는 순간 빠른 속도로 퍼져 나가기 때문에 실시간 대응이 어렵다. 실제로 페이스북 등 소셜미디어들은 자체 알고리즘을 활용해 딥페이크 콘텐츠를 탐지한다고 주장하지만, 가짜 영상 하나를 찾아냈을 땐 이미 찾아내지 못한 가짜 영상 수백 건이 퍼져 나간 상태였을 것으로 본다. 다만 딥페이크 탐지 기술도 고도화하고 있어, 대응 속도도 점점 빨라지고 있다.”

-정부와 기업은 어떻게 대비해야 하나.

“지난 2017년 딥페이크가 처음 등장했을 때만 해도 사람들은 이미지나 영상이 조작됐다는 것을 쉽게 식별해낼 수 있었다. 하지만 최근엔 딥페이크 기술이 갈수록 정교해지고 있고, 공격 유형도 다양해지고 있다. 이에 전문성 있는 딥페이크 해결 업체를 활용하는 경우도 많아지고 있다. 아직 피해가 없다며 미지근한 태도를 보이는 정부, 기업도 적잖다. 하지만 딥페이크는 공격 대상의 신뢰도와 직결되는 문제다. 신뢰가 깨지는 건 한순간이고, 피해는 오랫동안 지속돼 미리 대비하는 게 좋다.”

그래픽=김현국

◇딥페이크의 긍정적 활용도

하지만 딥페이크라는 기술에 꼭 어두운 면만 있는 건 아니다. 정교해진 딥페이크 기술을 활용해 유명인의 공익 광고도 손쉽게 만들 수 있게 됐고, 이별의 그리움을 달래는 수단으로도 쓰이고 있다. 지난 2019년엔 영국의 비디오 생성 AI 스타트업 ‘신디시아’가 유명 축구 선수 데이비드 베컴의 목소리를 9가지 언어로 재현해 말라리아 종식을 호소하는 광고를 만들어 화제가 됐다. 최근 중국에선 유족들이 고인(故人)의 영상을 딥페이크로 만들어 기념하는 일도 늘고 있다고 한다. 사우스차이나모닝포스트(SCMP)는 최근 암으로 세상을 떠난 아버지의 딥페이크 영상을 만든 쑨씨의 사연을 소개했다. 쑨씨는 올해 91세가 된 할머니가 아버지를 찾자, 할머니를 위로하기 위해 아버지의 딥페이크 영상을 만들어 할머니에게 보여줬다고 한다. 국제적 시장조사 업체 마케츠앤드마케츠에 따르면, 딥페이크 시장은 올해 70억달러에서 2030년 385억달러까지 커질 전망이다.

-딥페이크 기술이 긍정적으로 활용되는 경우가 많은가.

“많은 정도가 아니라, 딥페이크 창작물 전체를 놓고 보면 99%는 좋은 의도로 만들어진다. 개인이 자신의 AI 아바타를 만들어 활용하거나, 기업이 홍보·마케팅 등에 활용하는 경우다. 특히 딥페이크 AI를 활용하면 기업들은 홍보 영상을 제작할 때 기획, 영상 촬영, 편집 등 몇 주 동안 매달려야 할 작업을 단 5분 만에 끝낼 수도 있다. 마치 ‘불의 발견’이 우리에게 따뜻함과 함께 화재의 위험을 줬던 것처럼 딥페이크 활용도 양면성이 있는 셈이다.”

-딥페이크 탐지는 어떤 식으로 하나.

“현재 가장 보편적인 방법은 진짜와 가짜 콘텐츠를 나눠 AI에 학습시키는 것이다. 일정한 수준의 학습이 끝나면 AI는 눈 깜빡임, 입술 모양 등을 픽셀 단위로 분석해 가짜를 판별해 낸다. 단어를 내뱉을 때 부자연스럽거나 비현실적인 안면 근육 움직임을 잡아내는 것이다. 현재 기술력으로는 95% 정확도로 진위를 가려낼 수 있다. 최근엔 AI 기술이 발전해 진위뿐 아니라 조작된 부분까지 정확히 짚어내고 있다. 예컨대, 음성이 조작된 영상이라면 입술 주변에 빨간색 표시가 생겨 입술 움직임이 부자연스러움을 알려주는 식이다.”

WEEKLY BIZ 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/146096