마음만 먹으면 누구나 만든다 '딥페이크'‥.업계 '악용 방지' 고심

약 40만명이 참여한 딥페이크 성착취 텔레그램 채널. 뉴시스

[파이낸셜뉴스] 인공지능(AI) 이미지 합성 기술(딥페이크)이 고도화되면서 음란물 유포 등 피해 범위가 전국적으로 확대되고 있다. 이미지 합성 애플리케이션(앱)이나 텔레그램 등 해외 폐쇄형 플랫폼을 통해 누구든 딥페이크 이미지를 쉽게 만들고, 배포할 수 있게 되면서다. 상황이 이렇자 국내 생성형 AI 개발사들도 선제 조치를 통해 피해 방지에 나서고 있는 가운데, 업계에서는 "핀셋 규제가 필요하다"는 목소리가 높아지고 있다.

28일 업계에 따르면 최근 텔레그램에서는 여성 얼굴에 음란 이미지를 합성해 편집한 허위 영상물을 생성 및 유포하는 것으로 의심되는 단체 대화방이 다수 존재하는 것으로 나타났다. 원하는 사진을 보내고 이용료를 결제할 경우, 음란성 사진으로 합성해 주는 프로그램도 있다.

더 쉽게는 주요 모바일 앱마켓에서 '딥페이크'나 '페이스스왑(얼굴바꾸기)' 등을 검색 시 관련해 수십 개의 이미지·영상 합성 앱이 뜨고 있다. 기술의 발전으로 결과물은 더 정교해지고 있고, 향후 악용될 수 있어 우려가 커지고 있다.

국내 생성형 AI 업계의 경우, 딥페이크 음란물 등의 피해를 방지하기 위해 선제 조치를 취하고 있다. 초대규모 AI 하이퍼클로바X를 보유한 네이버는 대화형 AI '클로바X'에 "얼굴을 합성해 달라"는 질의를 할 경우, 콘텐츠를 생성하지 못하도록 막아뒀다. 최근 클로바X에는 이미지 이해 기능을 업데이트했는데, 유해로 판단된 이미지는 업로드 자체가 불가능하도록 안전성 조치를 마련했다. AI 기술 기반의 실시간 음란물 필터링 기술인 '클로바 그린아이'를 통해선 카페, 블로그 등 서비스 내 딥페이크 불법 합성물도 실시간 탐지 및 삭제하고 있다.

카카오도 AI 합성 음란 이미지 확산으로 인한 피해를 막기 위해 딥페이크 관련 검색어를 청소년 보호 검색어로 지정하는 등 다양한 사전적 조치에 나서고 있다. 특히 오픈채팅, 다음을 비롯해 카카오 내 공개 게시판 서비스에 딥페이크 유통을 감시하는 모니터링을 진행 중이다. 카카오톡의 경우 허위영상물 배포 및 제공 행위에 대해서는 카카오톡 전체 서비스에 대한 영구 제한 정책 시행하고 있다.

그럼에도 딥페이크 음란물에 대한 사회적 우려가 커지자 업계에서는 AI 생성물 '워터마크(표식)' 의무화가 필요하다는 데 공감하고 있다. 관련 법안도 현재 국회에 계류돼있다. 아울러 제작 단계부터 막기 위해 오픈소스(개방형) AI 생태계도 들여다봐야 한다는 조언이 나온다.

업계 관계자는 "AI 제작시 AI가 만든 콘텐츠라고 표시를 하도록 해야 할 것 같다"며 "구글이나 오픈AI 등 주요 AI 개발사들의 AI 모델보다 개발자들이 웹상에 올려둔 오픈소스 AI를 파인튜닝(미세조정)하는 게 악용하는 입장에선 쉬울 것이다. 오픈소스AI 모델 생태계는 통제가 안되고 있기 때문에 해당 부분에 대한 규제도 고려해볼 수 있다"고 전했다.

생성 AI에 대한 전반적인 규제보단 텔레그램과 같은 해외 플랫폼에 대한 집중 규제도 필요하다는 지적도 따른다. 또 다른 업계 관계자는 "딥페이크 만들어주는 업체나 최대 유통 채널은 텔레그램 등과 같은 해외 플랫폼이기 때문에 이들의 책임감을 강화할 수 있는 방안도 고려해야 한다"고 지적했다.

soup@fnnews.com 임수빈 기자