[인터뷰] "1분만에 '뚝딱' 음란물도, 총선출마 영상도 가능"

외국어 못해도…영어·일본어·중국어 변환가능
활자를 그림·영상으로…딥페이크 발전 속도↑
딥페이크 활용 영상 제작속도도 급격히 증가
자동 모니터링은 어려워…자기검열 맡기는 중

■ 방송 : CBS 라디오 <김현정의 뉴스쇼> FM 98.1 (07:20~09:00)
■ 진행 : 김현정 앵커
■ 대담 : 김덕진 (IT커뮤니케이션 연구소 소장)

[★ AI김현정 : 안녕하세요, 김현정입니다. 제가 이 자리를 빌어 처음 말씀드리는 건데요. 오랜 고민 끝에 이번 4월 10일 총선 출마를 결심했습니다. 뉴스쇼당 후보로 뛰어보려고 하는데요. 많은 지지와 성원 부탁드립니다. / AI로 만든 영상입니다.]
 

◇ 김현정> 여러분, 깜짝 놀라셨죠? 제가 뉴스쇼당 후보로 이번에 총선 출마를 한다고 그러네요. 당연히 가짜입니다, 여러분. 지금 저 영상 속에 나온 단 한마디도 제 입에서 나온 게 없어요. 그런데 신기하게도 입모양까지 정확히 맞춘 영상이 불과 1분 만에 뚝딱 만들어졌습니다. 진짜 어제 제가 이 영상 보고선 기겁을 했어요. 이게 바로 딥페이크 기술이라는 건데요. 딥페이크 기술이 등장한 지는 꽤 됐습니다. 그런데 그 사이에 정말 눈부시게 상상을 초월하게 발전을 해서 그래서 걱정입니다. 최근에 미국에서는 톱스타 테일러 스위프트의 딥페이크 음란물이 삽시간에 퍼지면서 큰 사회적 문제가 되기도 했죠. 딥페이크의 현재, 이분과 함께 짚어보겠습니다. IT 커뮤니케이션 연구소의 김덕진 소장님 어서 오십시오.

◆ 김덕진> 네, 안녕하세요. 반갑습니다. 김덕진입니다.

◇ 김현정> 아니, 제가 이 딥페이크 제작 사이트에다가 제공한 거는 딱 2분짜리 제 하루 일과를 설명한 영상이었어요. '제가 몇 시에 일어나고 몇 시에 방송을 하고 몇 시에 잡니다' 그런데 갑자기 그거를 파일을 올린 다음에 저희 제작진이 총선 출마 선언으로 바꿔 달라 하면서 딱딱딱딱 이렇게 친 거예요. 몇 자를 친 거예요. 그랬더니 1분 만에 저런 영상이. 이게, 이게 지금 말이 되는 건가요?

◆ 김덕진> 이게 지금 기술이 어디까지 왔는지를 그대로 보여주는 건데요. 이게 놀라운 건 누구나 그냥 자기 얼굴 넣고 자기가 얘기한 어떤 본인 인증 절차가 있긴 있습니다. 그래서 예를 들면 거기에서 혹시나 그래도 좀 안전장치로 다른 사람 영상 넣어서 아마 문제가 되니까 이 사이트에서는 내가 나다라고 하는 문장을 좀 읽어야 돼요.

◇ 김현정> 이 얘기하더라고요, 영어로.

◆ 김덕진> 읽기는 하죠. 그런데 그러고 나면 그다음부터는 만들어진 저의 AI를 가지고 한국어를 치면 한국어를 우리가 글자로 치는 거예요. 예를 들면 내가 원하는 멘트를 치면 제 목소리대로 그대로 한국어로도 읽어주고 한국어만 되는 게 아닙니다. 실은. 제가 일본어 치면 일본어의 성조까지도 입이 똑같이 해주고요. 중국어 치면 중국어도 해 줘요.

◇ 김현정> 혹시 그런 사례 영상 같은 거.

◆ 김덕진> 제 걸로도 만들어 봤어요.

◇ 김현정> 만들어보셨어요?

◆ 김덕진> 제 걸로 만든 거 한번 볼까요?

◇ 김현정> 한번 보고 올까요?
 

[AI김덕진 : 안녕하세요. 저는 김덕진 교수입니다. 오늘은 제 아바타인 딕션 킴 교수가 저 대신 발표를 하고 있습니다. / 영어, 일본어, 불어로]

◆ 김덕진> 저런 식으로 해서.

◇ 김현정> 영어, 일어, 불어.

◆ 김덕진> 실은 중국어도 하고 태국어도 해요. 그냥 넣기만 하면 됩니다. 넣기만. 보시는 게 제일 놀라운 게 저게 입모양도 맞춰줄 뿐더러 우리나라 말은 성조가 없잖아요. 그런데 제가 성조도 만들어줘요. 그렇게 하고 내용만 넣으면 제스처, 그러니까 그 제스처는 뭐냐면 제가 2분짜리 영상을 저도 만들 때 제가 이렇게 손 동작한 것들에 대한 패턴을 얘가 가지고 있는 거예요. 그럼 저거를 갖고 아까 보시면 저희 집에서 그냥 스마트폰으로 그냥 2분 뚝딱 찍은 건데 저러면 누구나 이런 것들을 쉽게 만들 수 있고 이게 장점으로 보면 그렇기 때문에 내가 이런 기술을 활용하면 내 아바타를 누구나 만들고 내가 이걸 갖고 내가 못하는 나라 말까지 영상 콘텐츠를 다양하게 만들 수 있다는 장점은 있지만 반대로 이런 것들이 도용되거나 악용되기 시작하면.

◇ 김현정> 무서워요.

◆ 김덕진> 말씀하신 대로 정치, 아까처럼 총선을 내가 선언도 안 했는데 선언을 하거나.

◇ 김현정> 뉴스쇼당.

◆ 김덕진> 그렇죠. 갑자기 대선 전날에 갑자기 비방하는 후보에 대한 영상이 급작스럽게 올라오거나 이런 게 너무 만들기 쉬워졌다라고 하는 게 상당히 이슈가 되는 것이죠.

◇ 김현정> 제가 몇 년 전에도 이 방송을 위해서 딥페이크 기술을 이용해서 뭘 만들어봤었는데 지금 그때하고 지금하고 기술 차이가 너무 났다는 게 저는 놀라워요. 무엇보다도 입모양. 어떻게 입모양까지 딱 맞출 수 있는가. 지금 기술이 어디까지 발전한 겁니까?

◆ 김덕진> 말씀하신 것처럼 그냥 우리가 영상이나 이미지 넣으면 이렇게까지 어떻게 다 똑같이 따라할 수 있게 됐을까. 그러니까 말씀하신 딥페이크라고 하는 기술이 어떻게 진화하는지를 좀 보면 될 것 같아요.
 원래 딥페이크는 합성하려는 인물이 주로 나오는 고화질의 동영상에서 그걸 이른바 우리가 알파고 때부터 들었던 딥러닝이라고 하는 AI 기술을 활용을 해서 예를 들면 영상을 원래 프레임 단위, 그러니까 컷, 컷 단위로 합성을 하는 거예요. 그런데 최근에 우리가 챗GPT 같은 생성형 AI가 나왔잖아요. 그러면서 아마 보셨겠지만 이 생성형 AI가 글자를 넣으면 이미지도 상당히 그럴 듯하게 만드는 기술들도 있고 그리고 이런 것들이 어떠한 내용을 쳤을 때 영상을 나오는 기술들도 있어요.
 예를 들어서 글자를 넣어서 이미지를 만드는 그 기술의 일부의 알고리즘을 다른 데 응용을 해보는 거예요. 예를 들면 아까처럼 딥페이크 같은 걸 만들기 위해서 원래 수많은 영상 셋이 필요했는데 그거를 그냥 그림을 만들어주는 이러한 디퓨전이라고 하는 모델이 있는데 그 모델의 방식을 음성에다 적용을 해보거나 영상에다 적용을 해보거나 이렇게 됐더니 되는 거예요.

 두 번째는 최근에 수많은 사람들이 이러한 AI 서비스를 사용하거든요. 사용을 많이 한다는 건 그만큼 데이터가 많아진다는 거죠. 데이터가 많아지면 그걸 갖고 정교한 튜닝이 가능해지 때문에 이런 기술들이 좀 늘어났다라고 말씀드릴 수 있을 것 같아요. 예를 들면 이미지를 만드는 기술인 것 중에서 상당히 유명한 게 미드저니라고 하는 기술이 있어요. 그 미드저니가 어떤 거냐면 '글자를 넣으면 이미지로' 만들어주는 거거든요. 그런데 이거의 기술력이 1년 만에 정말 말이 안 되는 수준으로 지금 증가를 하고 있습니다.
 예를 들면 2022년 초만 해도 제가 뭔가 자동차에 탄 미녀를 그려달라고 하면 그게 아주 어설프게 나왔거든요. 그런데 최근에 2023년에 12월에 업데이트된 걸 보면 거의 사진급이고 우리가 말하는 아이돌들의 얼굴이나 정말 SNS에서 볼 만한 셀럽들 같은 인스타그램에서 나오는 이런 얼굴들을 글자만 넣으면 진짜야, 가짜야 할 정도로 만드는 수준이 됐으니까 그런 것들이 영상에도 적용되는, 결국에는 모든 다양한 AI 알고리즘들이 이런 다양한 각자의 형태들이 통합되면서 이런 것들을 누구나 쉽게 영상만 넣으면 혹은 이미지만 넣으면 음성만 넣으면 겹쳐지는 기술이 됐다는 거죠.

◇ 김현정> 이해가 돼요. 그러니까 몇 년 전에 초창기 때는 저의 어떤 딥페이크 영상을 만들려면 김현정이 말한 1만 시간 분량의 데이터를 주십시오. 이런 걸 요구했다면 지금은 겨우 2분짜리 하나 줬는데도 얘들이 그것만 가지고도 뚝딱뚝딱 다 만들어내는 그 정도의 발전이다 보시면 됩니다. 최근에 우리나라에서 어떤 일이 있었냐면 주식투자계의 유명인이죠. 박순혁 작가가 만든 어떤 기금이 있는데 배우 조인성, 송혜교 씨도 거기에 투자를 추천한다. 이런 내용의 투자사기 딥페이크 광고가 돌아다녔어요. 알고 보니까 다 딥페이크 가짜 영상인데 사기였죠. 일단 그 가짜 영상 한 장면 좀 보고 올까요?

[AI 딥페이크 가짜영상 / 안녕하세요. 조인성입니다. 박순혁 교수님의 QF 어린이재단 개최에 감사드리며. - 안녕하세요. 저는 송혜교입니다. 교수님의 QF 어린이 기금회를 진심으로 감사드리며.]
 

◇ 김현정> 참, 어떻게 입모양까지 저렇게 똑같냐 이거죠. 최근에 미국에서는 여러분, 테일러 스위프트라는 여자 가수인데 미국에서 가장 인기 있는 여자 가수고 그 타임지가 선정한 올해 인물이고 이 사람의 경제 효과를 딴 어떤 이야기가 다 있을 정도로 너무나 유명한 가수의 딥페이크 음란 영상물이 나와가지고 만 하루가 되기 전에 삭제를 했어요. 삭제를 했는데도 무려 7200만회 클릭이 되면서 사회적인 문제가 됐다면서요?

◆ 김덕진> 맞습니다. 말씀하신 것처럼 이게 이슈가 됐던 게 테일러 스위프트를 그냥 쉽게 우리나라 식으로 표현하면 아이유급 그리고 아이유보다 훨씬 더 경제적으로는 임팩트가 있는, 그러니까 거의 국민 여동생 느낌보다 좀 더 독자적으로 또 정치적인 얘기도 하고 본인의 생각들을 하는 되게 영향력 있는 인물이거든요. 그런데 그 영향력 있는 인물이 이러한 딥페이크의 이슈가 됐다는 건데 문제는 여기에서 활용되거나 공유된 툴들이 옛날처럼 뭔가 복잡한 솔루션이 아니라 누구나 클릭만 하면 만들 수 있는 딥페이크의 솔루션이었고 그게 올라간 것 역시도 말씀하신 트위터에 올라갔는데 어떻게 이거를 못 잡느냐에 대한 이슈가 좀 커졌다고 보시면 될 것 같고요. 그런데 그도 그럴 것이 저는 좀 어느 정도 공감이 되는 게 이게 진짜 만드는 게 말이 안 될 정도의 속도로 만들고요.

◇ 김현정> 아까 1분 만에 만들었다고 말씀드렸잖아요.

◆ 김덕진> 그런데 제가 실은 방금 또 밖에서 제 핸드폰으로 제가 김현정 MC님께 좀 죄송한 얘기인데 김현정 MC님의 사진을 활용해서 춤추는 영상을 만들었어요. 방금, 방금 30초 안에 만든 영상들이 있습니다. 그러니까 어떤 거냐면 이게 어떤 방식으로 되는 거냐면 우리가 인스타그램에 혹은 틱톡 이런 데에 인플루언서들 나오잖아요. 그 인플루언서들 춤추는 영상에다가 이 서비스에서 사진을 한 장을 올리면 그 얼굴을 똑같이 매칭을 1분도 안 돼서 해줘요.

◇ 김현정> 그 사람이 춤추는 몸에다가 제 얼굴. 그건 부자연스럽지 않아요? 티 나지 않아요?

◆ 김덕진> 나중에 한번 보세요. 그래서 제가 보고도 뭐야. 제가 그래서 실은 들어오기 전에 머리가 아팠어요. 아니, 이 정도가 된다고? 막 이럴 정도. 그러니까 이게 그럼 알고리즘적으로 어떻게 못 걸러내냐. 예를 들면 정말 사람이 하나하나 보면서 다 승인하지 않는 이상은 어렵다. 왜냐하면 이게 예를 들어서 합성을 하더라도 뭔가 합성의 어떤 신호나 패턴이나 이런 게 하나밖에 없다면 그럼 그걸 뭔가 모니터링하는 시스템이라도 만들겠죠. 그런데 말씀드렸던 것처럼 알고리즘이 계속 개발되고 그 안에서 서비스마다의 데이터의 사용들이 다르다 보니까 이거를 바로바로 만든다는 건 좀 어려워요.
 그리고 요즘에는 또 인력 이슈들이 있다 보니까 대부분 이러한 필터링 알고리즘에 맡기잖아요. 알고리즘의 어떠한 발전보다 이런 연구 속도의 발전이 요즘에는 더 빠르고 다양하다 보니까 알고리즘을 못 걸러내는 거죠. 그리고 이런 알고리즘을 강력하게 쓰면 또 소셜미디어 입장에서는 걱정이 되는 거예요. 왜냐하면 본인들이 영상으로 돈 벌어야 되는데 그렇지 갑자기 내가 올린 영상인데 딥페이크다 이런 식으로 필터링이 걸려서 안 올라가서 이틀 늦어졌다. 그럼 이 사람에게 직접적으로 피해가 가고 또 채널 입장에서도 이게 수익화에 이슈가 있잖아요. 결국 다 광고를 붙이니까.
 

◇ 김현정> 그렇죠. 그렇죠.

◆ 김덕진> 그런 상황들에서 이번에 문제가 됐다라고 말씀드릴 수 있을 것 같고요.

◇ 김현정> 지금 말씀 들어보니까 그러면 뾰족한 해결책, 사전에 막을 방법 이런 거는 뾰족한 게 없다는 얘기로 들리는데요.

◆ 김덕진> 냉정하게 말씀드리면 지금은 사용자의 자율 권한을 맡기는 수밖에 없다가 정답입니다. 무슨 말이냐면 지금 말씀하셨던 숏폼 회사들도 그래서 요즘 어떻게 하냐면 영상을 올릴 때 사람들한테 '이거는 생성형 AI가 만든 거예요'라면 그걸 체크하는 메뉴들을 만들고 있어요. 그 말은 결국에는 본인들이 걸러내기 어렵다는 거고 그랬는데 만약에 그걸 체크를 안 하고 올린 것들이 많았을 때 사람들에게 개인 모니터링이 되면 그 부분에 있어서는 심하게는 계정을 없애는 이런 행위들까지 하고 있거든요. 그런데 그럼에도 불구하고 말씀드렸다시피 기술의 어떤 필터링 속도보다 아까 말씀드린 비즈니스적인 이유, 여러 가지 이유들 때문에 이걸 쉽사리 모니터링을 자동화한다는 거는 지금 어려운 상황이다.

◇ 김현정> 스스로 제작자가 이거는 생성형 AI로 만든 딥페이크 영상입니다라고 체크하게 하는 게 다다. 그 말씀이에요.

◆ 김덕진> 현재는 그렇죠. 그리고 기술을 만들고 있지만 발전 속도에 비해서 이게 완벽하게 걸러지는 거는 솔직히 지금 쉽지 않다라고 말씀드리는 게 정확할 것 같아요.

◇ 김현정> 그럼 법적인 부분을 좀 들여다볼게요. 그러니까 제가 제 영상을 제 아바타를 만들어서 제 딥페이크 영상을 만드는 건 당연히 합법, 이거는 아무 문제없다는 거고 문제는 다른 사람 거를 갖다 만드는 거는 그럼 어떻게 되는 겁니까?

◆ 김덕진> 그 부분은 말씀하신 대로 여러 가지 이슈가 있죠. 그래서 이런 서비스들 같은 경우에도 지금 대부분 다 어떻게 얘기하고 있냐면 만들더라도 이게 상업적 활용은 안 된다, 이런 식으로 본인들이 모니터링을 하고 있어요.

◇ 김현정> 자기 것도?

◆ 김덕진> 예를 들면 이제 만든 앱들 같은 경우에 말씀하신 본인이 본인 걸 만드는 것에 대해서는 이슈 제기를 안 하는데 예를 들면 아까 제가 1분 만에 만들었던 스마트폰 앱 같은 경우는 다른 사람의 몸에다가 사진을 넣는 거잖아요. 그런 것 같은 경우는 거기에 '재미 요소로 쓸 수는 있지만 상업적 활용에서는 안 됩니다' 이런 안내 문구가 있거든요. 그런데 냉정하게 말하면 이런 것들이 다 지금 초상권부터 해서 법들이 모호한 부분이 되게 많아요. 그리고 만약에 법이 있다고 할지라도 익명의 사용자가 어떠한 목적을 갖고 누군가의 영상을 합쳐서 만들어서 올린다. 그럼 이걸 누가 어떻게 제재하냐라는 부분들이 분명히 존재하죠. 그리고 제재를 받더라도 이미 영상은 퍼지고 나서잖아요.

◇ 김현정> 그렇죠.

◆ 김덕진> 이런 부분들이 이번에도 좀 문제가 되고 있다라고 말씀을 드릴 수 있을 것 같습니다.

◇ 김현정> 된다도 없고 안 된다도 없으면 되는 거잖아요. 법에서는.

◆ 김덕진> 그럴 수 있죠. 그런 부분이 있는 부분이 분명히 존재하고요. 안 된다라고 할지라도 아까처럼 이거를 법적인 해석이나 이런 것들이 정확한 가이드라인이 나오지 않는 이상은 좀 쉽지 않은 부분이 있다.

◇ 김현정> 그럼 지금 법적으로 처벌받을 수 있는 거는 음란물.

◆ 김덕진> 우리나라에서는 좀 그런 부분이 있죠. 그래서 아까 말씀하신 대로 그런 SNS에 사기 광고들이 요즘 많이 나오는데 그거랑 맥락이 비슷한 것 같아요. 사기성 광고나 낚시성 광고나 이런 주식 투자 모으는 이런 광고들 나오잖아요. 그런데 그런 게 실제적으로 사기로 인해서 개인이 피해를 당했다라는 게 입증이 돼야 사기 혐의로 잡아가는 형태이다 보니까 음란물도 그런 비슷한 형태라고 보시면 될 것 같고요. 혹은 연예인들의 초상권을 침해했다라고 하는 부분에 적용이 될 수 있지만 말씀하신 대로 초상권 침해 관련돼서의 여러 가지 소송을 하려면 침해한 사람이 명확하게 있어야 되잖아요. 그런데 만약에 가상 계정이나 정확한 개인이 확정되지 않는 것들이 있다라고 하면 거기서 생길 수 있는 문제도 좀 있다.

◇ 김현정> 기술적인 발전을 아직 법이 따라가지 못하는 거네요.

◆ 김덕진> 그렇죠. 그리고 기술적인 발전은 법도 못 따라가고 있고 모니터링하는 기술 역시도 조금 못 따라가고 있습니다.

◇ 김현정> 이해가 됐어요. 그러니까 저런 아까 송혜교 씨 가짜 딥페이크 영상이라면 송혜교 씨가 제 초상권을 건드렸습니다라고 소송을 걸든지 아니면 거기에 피해자들이 사기당했습니다라고 사기죄를 적용할 수 있지만 저 기술 자체 가지고 지금 어떻게 할 수 있는 법이 없다는 것이고.
 

◆ 김덕진> 그렇죠. 그래서 해외 약간 사례를 말씀드리면 톰행크스가 본인의 인스타그램에다가 가짜 톰행크스에 속지 마세요라는 영상을 올리기까지 했어요. 그러니까 이게 얼마나 큰 임팩트인지 알 수 있는 거죠. 본인이 치과 보험 광고도 찍지도 않았는데 본인의 인스타그램에 자기가 찍은 광고가 돌아다니는 거예요. 이게 무슨 얘기냐라는 거고 또 예를 들면 미국의 CBS 방송 진행인 게일 킨 같은 경우에도 본인의 동의 없이 AI로 본인이 체중 감량 광고를 하고 있는 거예요. 이런 것들이 실제로 미국에서는 이슈가 이미 됐었고 그런데 말씀드린 것처럼 아주 아이코닉한 인물이 이 부분에 있어서 이런 음란물까지 이슈가 되니까 이번에 좀 크게 이슈가 터졌다, 이렇게 말씀드릴 수 있을 것 같습니다.

◇ 김현정> 그리고 미국은 지금 대선 앞두고 선거에 이 딥페이크 기술이 악용될까 봐 무척 신경 쓰고 있죠.

◆ 김덕진> 이미 제가 몇몇을 봤는데 작년 중순부터 벌써 완전히 동영상 형태가 아니라 예를 들면 이미지를 만들어서 약간 이미지 형태의 비방 광고는 시작이 됐어요. 그래서 제가 그때 봤었던 게 바이든 대통령에 대해서 바이든 대통령을 더 이상 뽑으면 안 됩니다, 이렇게 되면서 어떤 할렘가 같은 데에 상당히 날카로운 표정으로 있는 듯한 이런 이미지들, 아까처럼 사진 만드는 이미지를 그럴 듯하게 만들어서 저 사람을 뽑으면 안 됩니다라는 비방 광고가 이미 시작이 됐고요. 그래서 말씀하신 대로 생성형 AI와의 이번의 싸움이다, 이런 얘기들이 나올 정도라고 보시면 될 것 같습니다.

◇ 김현정> 여러분 이게 지금 딥페이크 기술의 현실입니다. 오늘 아주 상세하게 이 현실적인 문제들 짚어주셨어요. 김덕진 소장님, 고맙습니다.

◆ 김덕진> 감사합니다.

※ 내용 인용 시 CBS <김현정의 뉴스쇼> 인터뷰 내용임을 밝혀주시기 바랍니다.

※CBS노컷뉴스는 여러분의 제보로 함께 세상을 바꿉니다. 각종 비리와 부당대우, 사건사고와 미담 등 모든 얘깃거리를 알려주세요.

• 이메일 :jebo@cbs.co.kr
• 카카오톡 :@노컷뉴스
• 사이트 :https://url.kr/b71afn

CBS 김현정의 뉴스쇼 cbsnewsshow@gmail.com

▶ 기자와 카톡 채팅하기▶ 노컷뉴스 영상 구독하기