“딥페이크 공급망을 무너뜨려라” AI 리더 1500명 서명

유튜브 등에 올린 가짜 콘텐츠
하루 만에 세계로 퍼져 나가
“신속한 차단 등 책임 물어야”

인공지능(AI) 기술 발전에 따라 ‘딥페이크(AI로 만든 진짜 같은 가짜 콘텐츠)’의 폐해가 눈덩이처럼 커지면서, 제작·유포자 외에 이를 확산시키는 텔레그램·유튜브·페이스북 등 플랫폼을 직접 규제하고 관리해야 한다는 목소리가 커지고 있다.

29일 대통령실 사이버 특별보좌관 임종인 고려대 명예교수는 본지 통화에서 “가짜 영상물은 신속히 제거하지 않으면 순식간에 퍼진다”며 “피해 확산을 막으려면 가능한 한 빨리 유포 통로를 차단해야 한다”고 말했다. 지금까지 빅테크들은 정부가 범죄 수사를 위해 정보를 요청해도 ‘사용자 정보와 사생활 보호’를 이유로 제출을 거부하는 경우가 많았다. 사실상 불법 콘텐츠 유포를 방치하는 결과를 낳았다. 하지만 정부가 법으로 강하게 압박하면 빅테크들도 정보를 제공한다. 지난 1월 선거 과정에서 딥페이크를 제작·편집·유포하면 처벌할 수 있는 개정 선거법이 시행됐다. 임 교수는 “과거 선관위가 유튜브에 불법 영상물 삭제를 요청하면 2주 이상 걸렸지만, 지금은 2~3일 만에 삭제해 준다”며 “처벌 근거가 없는 방통위가 요청하면 여전히 오래 걸린다”고 했다.

정치권도 이런 문제점을 인식하고 있다. 당정은 29일 국회에서 긴급 부처 현안 보고 회의를 열고 딥페이크 성범죄에 징역 7년을 추진하는 등 처벌 수위를 강화한 법안을 추진하기로 했다.

그래픽=김현국

사이버 보안 업체 홈시큐리티 히어로스에 따르면, 지난해 온라인에 유포된 딥페이크 영상은 9만5820건으로 5년 전보다 6배 이상으로 증가했다. AI 전문가들은 급증하는 딥페이크 제작을 일일이 단속하고 처벌하는 게 어려운 만큼, 피해 확산을 막으려면 딥페이크 유포 통로인 빅테크 플랫폼에 법적 책임을 묻는 방안이 필요하다고 지적한다. AI의 ‘4대 천왕’으로 불리는 요슈아 벤지오 캐나다 몬트리올대 교수와 가상현실 창시자 재런 러니어, 스티븐 핑커 하버드대 심리학 교수 등 세계 AI 석학들은 지난 2월 ‘딥페이크 공급망을 붕괴시켜라’라는 제목의 서한을 발표했다. 서한에서 이들은 “유해 딥페이크 제작자뿐만 아니라 확산을 방조하는 자까지 처벌할 수 있도록 법제화해야 한다”고 주장하며 대형 플랫폼에 법적 책임을 부과해야 한다고 지적했다. 6개월 만에 이 서한에는 전 세계 AI 전문가 1500명이 서명했다.

전 세계적으로 범죄 콘텐츠 유통과 관련해 플랫폼에 대한 법적 책임을 강화하는 상황이다. 지난 24일 프랑스 당국은 텔레그램 창업자이자 최고경영자(CEO)인 파벨 두로프를 체포했는데, 미성년자 성 착취물 유포와 마약 밀매 등을 방조했다는 이유로 그를 공범으로 보고 수사 중인 것으로 알려졌다. 이성엽 고려대 교수는 “미성년자의 가치관을 흔들리게 할 정도로 딥페이크는 악영향을 주고 있다”며 “정부든 기업이든 자기 역할을 해야 하고, 유해 콘텐츠가 플랫폼에서 유통되고 있으니 유통자로서 불법 영상물 삭제나 차단 모니터링 등 책임을 물어야 한다”고 말했다.

◇강한 압박에 빅테크도 두 손 들어

해외에선 강한 제재가 빅테크를 움직이는 사례들이 나오고 있다. 2022년 브라질 경찰은 텔레그램에 범죄 관련 정보 제공을 수차례 요청했다. 국제 테러 조직 이슬람국가(IS)가 텔레그램을 애용할 때도 사생활 보호를 이유로 협조하지 않던 텔레그램은 이런 요청을 거부했다. 그러자 브라질 연방 대법원은 브라질 내 텔레그램 서비스 금지 명령을 내렸다. 브라질 법에 따르면, 온라인 서비스를 제공하는 회사는 수사기관의 요청 시 법원 명령을 준수해야 한다. 그러자 두로프 텔레그램 창업자가 직접 입장문을 통해 “브라질 제재 요청을 더 효율적으로 처리할 것”이라며 정보 제공 의사를 밝혔다.

메타는 올해 초 18세 미만 미성년자 계정에서 자해, 폭력, 섭식 장애 등 유해 콘텐츠를 자동으로 차단하는 조치를 했다. 이는 작년 말 미국 내 41주 정부가 메타를 상대로 “과도한 중독성으로 미성년자 정신 건강에 피해를 주고 있다”는 소송을 제기한 가운데 나왔다. 2월에는 미 상원에 마크 저커버그가 출석해 미성년자를 대상으로 벌어지는 범죄에 대해 적절한 조치를 취하지 않았다는 비판에 대해 사과하기도 했다.

그래픽=김현국

국내에서도 올해 초 선거관리위원회가 유튜브에 선거 관련 딥페이크 콘텐츠 삭제 등을 요청하자, 2~3일 내 조치가 이뤄졌다. 딥페이크 영상을 제작·편집해 유포하거나 상영·게시하면 7년 이하의 징역 또는 1000만원 이상 5000만원 이하 벌금에 처하게 한 선거법 개정 영향이다.

◇당정, 음란 딥페이크 콘텐츠 처벌 강화

국내에서도 유해 콘텐츠와 관련해 플랫폼을 강력히 제재하려는 움직임이 본격화하고 있다. 당정은 29일 성폭력처벌법을 개정해 음란 딥페이크 콘텐츠에 대한 처벌을 강화하기로 했다. 현재 딥페이크 같은 ‘허위 영상물’을 유포하면 징역 5년 이하 또는 5000만원 이하의 벌금에 처하도록 돼 있는데, 이를 불법 촬영물(징역 7년 이하 또는 5000만원 이하 벌금) 유포 수준으로 강화하겠다는 것이다.

딥페이크 성범죄 영상을 만들더라도 유포할 목적이 입증돼야만 처벌할 수 있는 제도상 맹점도 보완하기로 했다. 제작·소지만으로 처벌하는 불법 촬영물과 달리 허위 영상물은 혼자 만들어 혼자 보는 것은 처벌할 수 없다.

또 일정 규모 이상의 포털·플랫폼 사업자는 AI 기술을 이용한 가상 정보 표시 기능을 제공해야 하고, 그러지 않을 경우 1000만원 이하의 과태료를 부과한다. 정보 게시자에게도 AI 생성물 표시 의무가 부과되는데, 플랫폼 사업자는 이 의무를 이행하지 않거나 임의로 표시를 제거·훼손한 이용자에게 경고 또는 이용 정지, 수익 제한 조치를 할 수 있다. 임종인 고려대 교수는 “워터마크(식별 표지) 같은 자율 규제만으로는 한계가 있다”며 “사후 규제에 초점을 맞추되 빅테크가 위법 행위를 할 경우 미국처럼 천문학적인 벌금을 부과하는 조치도 고려해야 한다”고 말했다.