Defending against a tsunami of deepfakes (KOR)

But side effects should be controlled and directed in a beneficial way to adopt new technologies for the good of society.

Photographic “deepfakes” of American superstar Taylor Swift went viral on X, formerly Twitter, over the weekend. Deepfakes refer to explicit videos, audio or images concocted to make people appear to do or say things they didn’t, with the help of AI tools. X, with a policy to not allow synthetic or manipulated media on its platform, took action to remove the fake images of Swift more than 17 hours after they were posted and viewed over 47 million times.

A week earlier, a doctored phone message sounding like President Joe Biden circulated, telling voters in New Hampshire not to waste their vote in the Democratic primary. The bogus message spread quickly, shortly before the primary voting period. Deepfakes can be easily produced with generative AI technology. We must build protection against a deepfake tsunami.

The Korean legislature last December passed a revision to the Public Office Election Act outlawing the use of deepfakes for campaigning 90 days prior to election day. The law on sexual violence also has grounds to punish posting and circulation of deepfake-based explicit materials. Whether or not that will be sufficient to sanction fabricated content, that can be made within minutes, is questionable.

Obscene materials and fake campaign contents generated with AI-enabled deepfake tools can go viral on social media in seconds. But removing and blocking the materials or regulative actions from authorities can come too late. Deepfakes overruled facts in last year’s elections in Turkey and Slovakia.

Fortunately, the tech industry is quickly moving to filter deepfakes. Intel has introduced AI-enabled real-time deepfake detectors. Big-tech giants like Google and Microsoft are using AI tools to digitally watermark fabricated images to help contents consumers better identify misinformation. Platform operators must employ these tools to combat the spread.

X announced it would be creating a team to monitor sexually explicit materials. The platform is grappling with the embarrassment after Elon Musk sacked contents inspecting staff when it acquired Twitter in October 2022. Korean platform operators also must take heed to the danger.

But reactions must be contained. Governments are vying for leadership in AI technology and application. Deepfake technology itself is not evil. The late Song Hae — the legendary host of the National Singing Contest from 1988 until his death in 2022 — was able to “appear” on a TV drama all thanks to deepfake technology. The technology is being actively employed in broadcasting, entertainment and games. Synergy would enlarge when the technology is met with augmented reality and virtual reality capabilities. But side effects should be controlled and directed in a beneficial way to adopt new technologies for the good of society.

'AI 딥페이크 쓰나미' 막을 방파제 필요하다

17시간 방치된 테일러 스위프트 가짜 음란물 플랫폼 기업이 적극적으로 문제 해결 나서야

미국 팝스타 테일러 스위프트의 얼굴을 합성한 딥페이크 음란 사진이 지난 주말 급격히 퍼졌다. 딥페이크는 인공지능(AI) 기술을 기반으로 만들어낸 가짜 이미지·오디오·비디오 콘텐트다. 소셜미디어 X(옛 트위터)는 딥페이크 사진을 17시간이나 지나서야 뒤늦게 삭제하고 검색을 막았다. 이미 해당 음란물 조회 수가 4700만 회를 넘어선 뒤였다. 얼마 전엔 미국 민주당 대선후보를 뽑는 뉴햄프셔 예비경선 직전에 조 바이든 대통령 음성으로 투표 거부를 독려하는 가짜 전화가 당원들에게 동시다발적으로 걸려와 소동이 빚어졌다. 생성형 AI 기술이 대중화되면서 누구나 쉽고 빠르게 딥페이크를 만들 수 있는 환경이 됐다. 곧 닥쳐올 ‘딥페이크 쓰나미’에 대비해 적절한 규제를 준비할 필요가 있다.

지난해 12월 한국에선 선거 90일 전부터는 딥페이크를 활용한 선거운동을 금지하는 공직선거법 개정안이 국회를 통과했다. 어제부터 해당된다. 딥페이크 음란물 처벌 근거도 성폭력 처벌법에 나와 있긴 하다. 이런 규정들이 몇 분이면 진짜 같은 가짜 콘텐트를 만들 수 있는 생성형 AI 시대에 충분한지 잘 따져보기 바란다. 딥페이크를 악용한 음란물이나 선거물은 SNS를 타고 전광석화처럼 퍼지는 반면, 계정 삭제 같은 플랫폼 대응이나 법에 따른 당국의 규제는 한발 늦기가 십상이다. 자칫하면 사후약방문이라는 비판을 받을 수 있다. 실제로 지난해 튀르키예와 슬로바키아 선거에선 딥페이크가 팩트를 이기기도 했다.

다행히 딥페이크를 걸러내기 위한 업계의 기술 진화가 이뤄지고 있다. AI로 AI를 잡는 딥페이크 판별 기술이 인텔 등에서 나왔다. 구글·마이크로소프트 등 빅테크는 생성 AI로 만든 딥페이크에 워터마크를 부착해 악용 가능성을 사전에 차단하고 있다. SNS를 운영하는 플랫폼 업체들이 이런 기술을 활용해 더 적극적으로 문제 해결에 나서 주기를 바란다. X는 이번 사고가 터지고 나서야 부랴부랴 성 착취물 단속팀을 만들겠다고 발표했다. 2022년 10월 트위터를 인수한 일론 머스크는 ‘표현의 자유’를 앞세워 콘텐트 감시 인력을 대거 해고했다가 이런 사달이 났다. 우리 플랫폼 기업에도 반면교사가 될 것이다.

그렇다고 규제 위주의 과잉 대응으로 흐르지는 말아야 한다. AI 주도권을 잡기 위해 국가 간 치열한 전쟁이 벌어지고 있다. 딥페이크 기술 자체는 죄악시할 필요가 없다. JTBC 드라마 ‘웰컴투 삼달리’에 국민 MC 고(故) 송해가 등장할 수 있었던 것도 딥페이크 기술 덕분이다. 방송·엔터테인먼트·게임 등의 산업에서 활발하게 쓰이고 있고 증강현실(AR)·가상현실(VR)과 결합하면 시너지가 커질 수 있다. 결국 기술이 악용되는 부작용은 막되 효율성을 높이는 방향으로 잘 관리하는 게 가장 중요하다.