韓 딥페이크 탐지 기술, 걸음마 단계… “모든 합성물 규제는 불가능”

챗GPT 달리3

최근 딥페이크 성범죄가 확산하면서 딥페이크 탐지·대응 기술에 관심이 모아지고 있다. 딥페이크를 잡아내는 탐지 기술에도 인공지능(AI) 기술이 사용되고 있으나 국내에선 이제 막 개발을 시작한 단계다. 반면 딥페이크 사진이나 영상물은 누구나 쉽게 만들 수 있어 이용자들의 각별한 주의가 필요하다.

딥페이크는 AI를 이용해 특정 영상을 합성하는 기술로, 소셜미디어(SNS)를 중심으로 거짓 정보를 퍼트리는 디지털 범죄에 악용되고 있다. 해외에서도 테일러 스위프트의 딥페이크 음란물 영상이 겉잡을 수 없이 퍼지는 등 딥페이크로 몸살을 앓고 있다.

올해 초 뉴욕타임스(NYT) 보도에 따르면 미국의 한 온라인 커뮤니티에서 오픈AI의 ‘달리’나 마이크로소프트의 ‘마이크로소프트 디자이너’ ‘빙 이미지 크리에이터’와 같은 이미지 생성 AI가 설정해놓은 안전장치를 피하려는 시도가 있었다. 이용자들은 게시판에서 “필터를 우회하는 새로운 방법을 찾기 위한 팁과 요령을 공유하라” “행운을 빈다, 창의력을 발휘하라”는 등의 이야기를 나누며 테일러 스위프트의 딥페이크 합성물을 만들어냈고, 이후 텔레그램과 X등을 통해 퍼져나갔다.

NYT는 “소프트웨어로 생성된 가짜 포르노는 적어도 2017년부터 문제가 돼 왔고 유명인, 정부 인사, 트위치 스트리머, 학생 등에게 충격을 줬다”며 “허술한 규제 때문에 법적 도움을 받을 수 있는 피해자는 거의 없고, 스위프트처럼 가짜 이미지를 물리칠 수 있는 강력한 팬을 보유한 사람도 드물다”고 지적했다.

김명주 서울여대 정보보호학과 교수는 “딥페이크가 콘텐츠 제작에 편리성을 제공하는 만큼 무조건적으로 나쁜 기술이라고 볼 수 없다”며 “모든 딥페이크 사진·영상 제작 앱을 규제하는 건 불가능하다”고 말했다.

업계에서 개발 중인 딥페이크 대응 기술은 영상 합성물을 탐지하고 가짜 영상을 추적·삭제할 수 있는 방식이다. AI 기술로 얼굴 변화를 감지하거나, 음성과 입 모양의 부자연스러운 부분을 분석하는 것이다. 29일 업계에 따르면 인텔이 2022년 공개한 딥페이크 탐지 프로그램 ‘페이크캐처’는 정확도가 96%에 달한다. 사람 얼굴의 혈류 변화를 추적해 예상되는 얼굴색과 영상 속 얼굴색을 비교하는 방식으로 딥페이크 여부를 판별한다. 얼굴의 핏줄 정보를 실시간 검사하며 영상을 픽셀 단위로 분석해 가짜 영상인지를 판별하는 것이다.

워터마크라는 표식을 남겨 딥페이크를 구별하는 방법도 개발되고 있다. 구글 딥마인드는 작년 8월 AI 합성 이미지용 워터마크 프로그램 ‘신스ID(Synth ID)’를 공개했다. AI 이미지 생성 프로그램에서 만든 이미지에 눈에 띄지 않도록 워터마크를 픽셀 단위로 넣어서 해당 이미지가 실제가 아님을 판별하는 방식이다. 구글, 마이크로소프트, 인텔, 어도비 등 100여개 기업들은 ‘콘텐츠 출처 및 진위 확인을 위한 연합(C2PA)’을 꾸려 워터마크 기술 표준 개발에 머리를 맞대고 있는데 국내에선 네이버가 동참하고 있다.

국내에선 딥페이크 탐지 기술이 아직 걸음마 단계다. 라온시큐어는 ‘딥페이크 감지 안면인식 기술’과 ‘AI가 생성한 콘텐츠 탐지 기술’을 개발하고 있다. 합성된 얼굴과 정상 얼굴을 각각 학습해 이를 비교 분류할 수 있도록 AI를 학습시키는 방식이다. 라온시큐어는 “탐지 알고리즘의 정확도를 높이기 위해 이미지부터 동영상, 안면 추출, 주파수 계열 변환 등 다양한 변수들을 측정하고 있다”고 전했다.

샌즈랩은 지난해 4월부터 정부의 생성형 AI 역기능 억제 기술 개발 공동 사업에 참여하고 있다. 이 프로젝트에는 LG유플러스, 포티투마루, 로그프레소, 카이스트 등이 참여중이다. 딥페이크, 보이스피싱, 음성 합성 등 AI 역기능 방지 기술과 사이버보안 특화 온프레미스용 소형언어모델(sLLM)을 개발하는 과제다. 샌즈랩은 딥페이크 영상과 이미지를 보다 정확하고 정밀하게 찾아내기 위한 기술 개발에 집중하고 있으며, 이를 위해 심층 학습 기반의 알고리즘과 멀티모달 데이터 분석 기법을 개발 중이다.

- Copyright ⓒ 조선비즈 & Chosun.com -