[더 보다] 신뢰의 위기-당신이 본 건 ‘진짜’인가

AI 기술은 머릿속 상상에만 존재했던 것들을 눈앞에 펼쳐줍니다.심각한 부작용도 빠르게 확산하고 있습니다.

'딥페이크 사기' 영상 통화
뭘 얼굴이 자꾸 다르다는 거예요? 주민등록증도 보내줬는데, 안 맞다 그러고.

'진짜 같은 가짜' 유튜브 영상
경찰: 당장 멈추라고! 야이 새X야, 멈춰!
운전자: 오지 마! 오지 마!
경찰: 멈춰! 움직이지 마!

유현재 교수 / 서강대학교 커뮤니케이션학부
내가 보고 있는 게 진짜를 보고 있는 게 맞는 걸까’라는 의심, 이게 굉장히 웃긴 얘기인 거예요.

조작된 음성은 이성적 판단을 무력화하기도 합니다.

“엄마... 빨리 와... 이 사람이 때렸어.”
“100만 원 지금 이체하세요. 20초 내로 안 보내면 전화 끊겠다.”
“(울먹) 제가 월급날 다시 드릴게요. 저희 딸만 보내주세요!”

김명주 / 인공지능안전연구소장
인류가 지금까지 쌓아왔던 사회 전반적인 신뢰, 이걸 AI가 완전히 무너뜨릴 거다...

백 번 듣는 것보다 한 번 보는 게 낫다는 말,
앞으로도 통할 수 있을까요?

청각장애가 있는 장명훈(가명) 씨는 지난해 여름만 생각하면 고통스럽습니다.

장명훈(가명.음성대역) / 로맨스스캠 피해자
지난해 여름에 ‘만남 어플’을 통해 만났는데, 그 여자는 자기 이름이 채서영이라고 했어요. 당시엔 그게 진짜 이름인 줄 알았어요.
그 여자가 먼저 쪽지를 보내왔고, 대화를 하게 됐어요. 그러다 한번은 제가 영상 통화해 줄 수 있냐고 물었거든요. 보고 싶더라고요.

장명훈(가명): 우우우!
여성: 괜찮아? 잘 보여?
장명훈(가명): 으흥~ 응~
여성: 하하하. 지금 이제 집에 갈 거야.
장명훈(가명): 카톡해. 톡해.
여성: 어어 카톡 해, 어어.

짧은 대화였지만, 이 영상 통화는 여성을 향한 장 씨의 호감을 키우기에 충분했습니다.

장명훈(가명.음성대역) / 로맨스스캠 피해자
그때는 그 여자가 생각보다 예뻐 보였어요.

어느 날, 이슬비(가명) 씨에게 날아든 SNS 쪽지 한 통.

이슬비(가명) / 로맨스스캠 피해자
‘안녕하세요’ 하고 문자가 오는 거예요. 모르는 사람이니까 그냥 무시하고 넘겼거든요. 근데 계속 주기적으로 인사를 해요. 친구가 필요하다고 하더라고요. 그래서 제가 50대 초중반이기 때문에 ‘친구는 안 될 것 같아요’라고 했더니 ‘그럼 누나 해요’ 그러는 거예요.

남성은 부산에서 스킨스쿠버 일을 한다며 사진으로 환심을 샀고, 일상까지 공유하는 사이가 되면서
이 씨는 그의 정체를 의심하지 못했습니다.

이슬비(가명) / 로맨스스캠 피해자
제 성향에 맞춰서 대화를 유도하더라고요. 자기는 부산에서 스킨스쿠버 양성소를 하고 있는 대표다, 여유롭게 생활하고 있다, 그렇게 말을 주고받고 했던 것 같아요.

하지만 장 씨와 이 씨에게 접근한 건 신분을 위조한 투자 사기 조직원, 이른바 ‘바람잡이’였습니다.
이들은 타인의 SNS 사진을 도용해 만든 AI 합성물로 ‘진짜 행세’를 했습니다.

장명훈(가명.음성대역) / 로맨스스캠 피해자
경찰이 그 여자 얼굴이 딥페이크였다고 하더라고요. 전 사실, 딥페이크라는 건 생각도 못 했거든요.

사기범들이 권유한 건 외환 투자.
조작된 자료를 제공하며 피해자들을 현혹했고, 합성한 가짜 얼굴로 수십 차례 유튜브 생방송까지 진행했습니다.

딥페이크 ‘외환 투자 가짜 강의’ 영상
여러분 벌써 13회차 강의네요. 지금도 1,300분 정도 들어와 계신 걸로 보이네요. 마음 같아서는 (무료 강의를) 90일이 아니라 90개월이라도 저는 솔직히 하고 싶습니다.

이슬비(가명) / 로맨스스캠 피해자
강의 도중에 기침하거나 손동작을 하거나 물을 마시거나 전혀 어색하지가 않았거든요. 그때 당시에 전혀 의심 안 했어요.

AI, 즉 인공지능으로 사람의 이미지를 합성하는 ‘딥페이크’였습니다.
결국, 이 씨는 2억 원을, 장 씨는 500만 원을 한순간에 날렸습니다.

장명훈(가명.음성대역) / 로맨스스캠 피해자
이번 일을 겪으면서 대인기피증이 생겼어요. 사람을 못 믿겠어요.

같은 수법에 당한 피해자만 백여 명, 피해액은 총 120억 원에 달합니다.

고일한 / 울산경찰청 반부패수사대 팀장
현재 AI를 활용한 딥페이크 기술은 상당히 정교하게 발달했고, 실제와 구분하기 어려운 수준에까지 이르렀습니다. 그래서 피해자들이 좀 쉽게 당하지 않았나, 저희는 그렇게 판단하고 있습니다.

사기극을 설계한 건 캄보디아에 거점을 둔 한국인 총책 부부.
오랜 기다림 끝에 최근에야 이들 부부가 송환됐습니다.

이슬비(가명) / 캄보디아 로맨스스캠 피해자 대표
제가 피해자들을 다 모을 때 그분들이 다 죽겠다고 했어요. 그래서 제가 ‘아, 우리 그러면 가해자라도 잡고 죽자, 지금 죽지 말자’ 제가 그랬어요.

딸 사칭 음성
엄마...빨리 와... 이 사람이 때렸어.
엄마(피해자)
어? 누가?
딸 사칭 음성
술 취한 사람이...
사기범
울지 말라고 야.
엄마(피해자)
아, 아니 저희 딸...
사기범
100만 원 지금 이체하세요. 20초 내로 안 보내면 전화 끊겠다. 지금 (계좌에) 잔액 얼마 남았나?
엄마(피해자)
제가 월급날 다시 드릴게요. 저희 딸만 보내주세요!

다급한 마음에 돈을 보낸 엄마, 하지만 납치는 사실이 아니었습니다.
인공지능 기술은 ‘납치 빙자 사기’에도 악용됩니다.

범인이 직접 목소리를 연기했던 과거와 달리, 이젠 단 몇 초의 음성으로도 가족의 목소리를 복제할 수 있습니다.

'급격한 기술 발전이 인간 존재에 대한 근본적인 질문..'
자, 이렇게 돼 있고, 이거(원래 음성)를 러시아어로 바꾼 거.

(러시아어 음성)

김명주 / 인공지능안전연구소장
5초만 돼도 러시아 말로 바꿔치기 하잖아요. 그런데 지금은 (필요한 음성이) 3초라니까, 3초 만에 바꿔치기 하는 거죠. 딸한테 전화 걸어서 ‘잘못 걸린 전화’라고 목소리 3초만 딱 따면, AI로 학습시켜서 이렇게 나오는 거죠.

범죄에 필요한 준비 단계 그다음에 비용, 이게 굉장히 줄어들었다, AI가 거기에 크게 기여하고 있다, 그건 사실인 것 같습니다.

딥페이크를 활용한 불법‧과장 광고는 일상으로 쉽게 파고들고 있습니다.

(가수 아이유 딥페이크 광고)
치킨**에서 지고 계신가요? 제대로 플레이하는 비법을 알려드릴까요?

(축구선수 손흥민 딥페이크 광고)
정식 라이선스를 받아 운영되기 때문에 믿고 이용하실 수 있습니다.

‘가짜 의사’를 동원해 제품을 홍보하기도 합니다.

(광고.1)
특허 성분 ****은 서파수면을 유도하는 천연 성장 성분으로...

(광고.2)
저희 남편도 3주 만에 10kg 빠지고 정말 뱃살이 싹 없어졌어요.

한국소비자원은 딥페이크를 이용한 불법 광고가 성행한다며 소비자들의 주의를 당부했습니다.

유현재 교수 / 서강대학교 커뮤니케이션학부
(사람들이) 처음에는 믿지 않았는데 계속해서 반복(노출) 되니까 ‘그럴 것 같더라’... 그리고 더 무서운 건, 아니 내가 약간 의심스러웠는데 조회수가 이만큼이라고 하면 ‘믿을 수 있는 것 아닌가?’라고 생각해서 믿었다는 거예요. (거짓) 광고에 속아서 돈을 잃기도 하고 건강을 잃기도 하고.

(광고 음성)
이것은 독일 엔지니어들이 성공적으로 제작한 초현실적인 강아지 장난감입니다. 외관부터 움직임까지 AI 명령에 따라 작동하며...

김현필 / AI 과장 광고 피해자
집에서 가족들하고 같이 유튜브 광고를 보다가 그 강아지 인형 광고에 현혹이 돼서 구입했습니다.

며칠 후, 설레는 마음으로 택배 상자를 열어본 김 씨는 헛웃음만 나왔다고 합니다.

김현필 / AI 과장 광고 피해자
물건을 받아보고 굉장히 웃을 수밖에 없었죠. 아마 고속도로 휴게소 가면 쉽게 볼 수 있는 ‘뾱뾱뾱뾱’ 소리 나는 강아지 인형, 바로 그 물건이 왔습니다.

그새 거래 사이트가 없어져 환불도 안 되는 상황, 강아지 인형은 ‘무료 나눔’으로 처분해야 했습니다.

김현필 / AI 과장 광고 피해자
지금은 제가 모든 영상을 다 의심의 눈으로 봅니다. 그때 그 일을 겪고 나서.

AI가 현실과 가상의 경계를 무너뜨리고 있단 우려도 나옵니다.
챗GPT의 창시자인 샘 올트먼조차 인공지능이 불러올 혼돈과 위협을 경고하고 나섰습니다.

김명주 / 인공지능안전연구소장
좀 슬픈 현실이죠. 인류가 지금까지 쌓아왔던 사회 전반적인 신뢰, 이걸 AI가 완전히 무너뜨릴 거다, 완전히 무너뜨리면 그 신뢰를 회복하기 위한 비용이 추가로 드는 거고요. 개인한테는 (모든 걸 의심해야 하는) 피로도가 쌓이는 거죠.

이런 가운데 ‘진짜 같은 가짜’ 콘텐츠가 범람하고 있습니다.

(영상 내용)
경찰: 학생이 담배 피우면 안 되지, 얼른 꺼.
학생: 무슨 상관인데요?
경찰: 지금 보디캠에 다 찍혀서 증거로 남아.
학생: 보디캠? 지금 몰카 찍었어요? 미쳤네~ 아니, 경찰이 몰카 찍고 다님? 변태 XX네 진짜.
경찰: 하아~ 요즘 학생들 진짜 미쳐버리겠네..

문제는, 많은 사람이 이를 ‘사실’로 받아들인다는 점입니다.
해당 영상이 올라온 유튜브 채널에 들어가 봤습니다.

자칫, 분노나 혐오를 조장할 수 있는 영상이 즐비하고, 수백만 조회수를 기록한 영상도 여럿입니다.
의도를 묻기 위해 제작자에게 연락해 봤지만, 묵묵부답. 영상은 이내 비공개로 전환됐습니다.

유현재 교수 / 서강대학교 커뮤니케이션학부
나는 돈을 벌 거야 그런데 돈을 벌기 위해서 나는 이런 일을 할 수가 있어. 예전의 기준으로 보면 분명히 이게 좋지 않다는 걸 알면서도, 그럼에도 하는 것은 명확한 법이 없기 때문에 그런 거예요.

하지만 규제와 표현의 자유를 놓고 해묵은 갈등이 존재하고, 법으로 모든 걸 해결할 순 없다는 지적도 나옵니다.
결국 미디어 이용자도 판별력을 키워야 한다는 건데, AI 시대에 가능한 일인지 의문입니다.

온라인 영상을 매일 본다는 다양한 연령대의 시민들을 만나 간단한 실험을 해봤습니다.

임주현 / 취재기자
지금부터 영상과 사진을 좀 보여드릴 텐데 보시고, 무엇이 진짜고 무엇이 AI로 만든 가짜인지 구분해 주시면 되는 겁니다. 준비되셨죠?
= 네~

온라인상에 유통되고 있는 영상 6개와 취재진이 제작한 이미지 4장입니다.

우선, 첫 번째 영상.

임주현 / 취재기자
자, 방금 보신 영상이 진짜라고 생각하시는 분, 손들어주십시오. 가짜라고 생각하시는 분? 네, 정확하게 반반 갈렸습니다.

임주현 / 취재기자
이 사진이 진짜라고 생각하시는 분? ... 다섯 분입니다.

AI로 만든 가짜 이미지였지만, 단 한 명을 제외하곤 모두 진짜라고 믿었습니다.
마지막 사진까지 본 시민들, 정답을 공개하자 탄식이 새어 나옵니다.

임주현 기자 / 취재기자
만장일치로 선택하셨던 그 GD 영상이 진짜고요. 나머지는 다 가짜입니다.

세대별로 보면 20~30대가 조금 더 많이 맞혔지만, 평균적으로 10개 중 6개를 맞히는 정도였습니다.

윤새롬 / 20대 참여자
아~ 이렇게 이제 ‘완전히 속을 정도가 됐구나’라는 생각이 들긴 했어요.

백주은 / 70대 참여자
아, 세상이 정말 어떻게 되어 갈 것인가, 그걸 진짜 속는 사람들은 세상 자체를 아마 믿지 못할 것 같아요.

마이크로소프트도 지난해 사람이 실제 사진과 AI 이미지를 가려낼 확률이 60% 정도라고 밝혔습니다.
다만, 모든 문제를 맞힌 50대 참여자는 아직 맨눈으로 구별할 여지가 있다고 말합니다.

정진화 / 50대 참여자
오히려 너무 자연스러운 게 가짜더라고요. (진위 감별) 퀴즈 같은 거 하면 10개 중의 10개를 다 틀렸어요. 제가, 그런데 자꾸 하다 보니까 찾게 되더라고요.

그럼에도 인공지능의 진화 속도를 고려하면 조만간 눈으로 구별하는 게 불가능해질 거라는 전망이 나옵니다.

김명주 / 인공지능안전연구소장
그게 육안으로 불가능하잖아요. 그러니까 이제 마음가짐을 바꾸는 겁니다. 어떤 것이 나오든, 일단 믿지 말고 그게 진짜인지 아닌지 확인을 먼저 해라. (관련 정보 탐색 등) 다른 방법을 통해서...

서울의 한 인공지능 영상 합성 기업.
탐지 시스템에 ‘AI 가짜 의사’ 영상을 넣어봤습니다.

장세영 대표 / 딥브레인AI
지금 (탐지할) 이미지를 업로드하고 이 영상이 진짜인지 가짜인지를 한번 탐지하는 과정이고요. 이 영상은 ‘가짜’라고 이렇게 탐지가 되는 거고요. 물론 이게 100%(가짜)는 없어요. AI로, 확률로 탐지하는 거기 때문에

사람 눈으로 보지 못하는 부분을 잡아낼 수 있지만, 아직 완벽하진 않습니다.

장세영 대표 / 딥브레인AI
이렇게 하루가 다르게 발전하는 생성형 AI 기술을 탐지하려면 그거에 맞게 또 연구 개발해서 탐지하는 기술을 고도화해야 하거든요. 그러니까 시간 싸움일 수도 있고 ‘창과 방패의 싸움’일 수도 있는데 그런 것들을 빨리 캐치하는 게 저희의 어려움이자 도전 과제라고 할 수 있습니다.

인공지능 악용을 막기 위한 기본적인 법적 울타리도 마련됐습니다.
지난 22일, 산업 육성과 규제를 아우르는 세계 최초의 ‘포괄적 AI 기본법’이 발효된 겁니다.

하지만, 헐거운 규제라는 비판과 산업 위축이라는 우려가 맞서면서 ‘사회적 합의’라는 어려운 숙제가 남았습니다.

김명주 / 인공지능안전연구소장
이게 AI 기본법 하나 가지고 다 커버할 수 있는 건 아니고 우리가 가지고 있는 법 시스템 전체가 AI 시대에 맞게끔 업그레이드해야 하는 상황에 와 있다. 영역별로 AI에 관한 연구들이 좀 많이 필요하다고 생각합니다.

하루가 다르게 진화하는 인공지능 기술.
기술적, 제도적 방안에 개인의 노력까지, 그야말로 총체적인 대응이 필요한 상황입니다.

유현재 교수 / 서강대학교 커뮤니케이션학부
어쩔 수 없어요. 우린 대가를 치러야 하고 그 대가를 사회 구성원들이 나눠서 짐을 져 줘야 해요. 그러니까 정책을 결정하는 사람이 제일 중요하고 일반, 저를 포함해서 많은 사람도 AI와 관련돼서 이걸 어떻게 수용할 것인가에 대한 자세, 이게 가장 중요하다고 생각합니다.

임주현 / 취재기자
결과적으로 더 피곤해지는 사회가 되는 건 피할 수가 없겠네요?

유현재 교수 / 서강대학교 커뮤니케이션학부
하아~ 피곤하죠.

#AI #인공지능 #가짜뉴스 #FAKE #생성형AI #딥페이크 #DEEPFAKE #챗GPT #샘올트먼 #보이스피싱 #로맨스스캠 #사기

취재:임주현
촬영:조선기, 강우용, 김승민, 김재환
편집:최민경
그래픽:장수현
리서처:채희주, 서유리
조연출:이민철, 엄희주

■ 제보하기
▷ 전화 : 02-781-1234, 4444
▷ 이메일 : kbs1234@kbs.co.kr
▷ 카카오톡 : 'KBS제보' 검색, 채널 추가
▷ 카카오 '마이뷰', 유튜브에서 KBS뉴스를 구독해주세요!

임주현 기자 (leg@kbs.co.kr)