위조지폐 막는 워터마크, AI 가짜 이미지도 예방할 수 있을까

AI기반 딥페이크 영상 잇단 확산에
정부·기술기업 워터마크 도입 나서
“AI사용 감지기술 개발이 가장 시급”
속일 의도 없을때만 유용한 ‘신사협정’
“현존 워터마크 모두 뚫었다”는 논문도
우회방법 많아 신뢰도·실효성 낮아

페이스북을 운영하는 메타는 생성 인공지능의 부작용을 막기위한 방법으로 기술업계 공통의 ‘워터마크’ 표준을 도입하자는 제안을 하고 있다. 하지만 페이스북은 현재 윤석열, 이재용, 백종원 등 유명인을 사칭하거나 이들의 이미지를 도용한 초보적 사기광고조차 걸러내지 못하고 있는 수준이다. 페이스북 화면 갈무리

인공지능 워터마크 실효성

# 삼성전자가 지난달 17일 미국 삼성언팩 행사에서 공개한 최신 스마트폰 갤럭시S24 울트라는 자체 인공지능 플랫폼 ‘갤럭시AI’를 탑재했다. ‘생성형 편집’ 기능은 사진 배경이 잘렸을 때 생성 인공지능이 그럴듯한 이미지를 채워 완성한다. 삼성쪽은 생성 인공지능을 활용해 만든 이미지 귀퉁이와 메타데이터에 워터마크가 자동표시되는 ‘안전장치’가 삽입된다고 밝혔다. 이틀 뒤 미국 정보기술매체 ‘기즈모도’는 갤럭시S24에 탑재된 ‘AI 지우개’를 이용해 손쉽게 워터마크를 지울 수 있다는 걸 영상으로 보도했다.

# 지난달 말 인공지능 도구로 미국 팝스타 테일러 스위프트 얼굴과 음란 동영상을 합성한 딥페이크 영상이 엑스(X), 인스타그램 등 소셜미디어에서 빠르게 확산됐다. 소셜미디어 기업들이 부랴부랴 차단과 삭제에 나섰지만 하룻새 수천만번 넘게 조회됐다. 비슷한 시기 미국 뉴햄프셔 유권자 수천명에게는 바이든 대통령을 흉내낸 가짜 목소리의 자동전화가 걸려와 미국 대선 첫 예비선거 투표에 기권하라고 권유했다. 발신자번호를 민주당으로 조작한 딥페이크 사기전화였다.

생성 인공지능이 감쪽같은 딥페이크를 손쉽게 만들어내어 신종 사기 피해가 잇따르는 상황에서 워터마크 기술이 해결책으로 주목받고 있다. 위조지폐 유통을 막는 것처럼 워터마크 기술은 생성 인공지능에서도 쓸모를 발휘할 수 있을까?

사진 촬영정보를 풍부하게 담고 있는 메타데이터(EXIF)처럼 인공지능 워터마크는 사람 눈에 보이지 않는 컴퓨터용 식별신호다. 생성 인공지능으로 인해 앞으로 사람이 만든 것보다 인공지능이 만든 콘텐츠가 늘어날 전망인데, 워터마크는 소셜미디어와 검색 등에서 게시물 식별을 위해 필수적 기술이다. 인공지능 모델에 워터마크 기능을 의무화하면(임베디드 워터마킹) 콘텐츠를 생성할 때 미묘한 신호가 자동삽입돼, 정보 출처 확인과 허위정보, 딥페이크 예방에 활용할 수 있다.

페이스북을 운영하는 메타는 생성 인공지능의 부작용을 막기위한 방법으로 기술업계 공통의 ‘워터마크’ 표준을 도입하자는 제안을 하고 있다. 하지만 페이스북은 현재 윤석열, 이재용, 백종원 등 유명인을 사칭하거나 이들의 이미지를 도용한 초보적 사기광고조차 걸러내지 못하고 있는 수준이다. 페이스북 화면 갈무리

페이스북을 운영하는 메타는 생성 인공지능의 부작용을 막기위한 방법으로 기술업계 공통의 ‘워터마크’ 표준을 도입하자는 제안을 하고 있다. 하지만 페이스북은 현재 윤석열, 이재용, 백종원 등 유명인을 사칭하거나 이들의 이미지를 도용한 초보적 사기광고조차 걸러내지 못하고 있는 수준이다. 페이스북 화면 갈무리

기술업계와 각국 정부는 워터마크 기술 도입에 적극 나서고 있다. 지난해 유럽연합은 세계 최초로 인공지능 콘텐츠에 워터마크를 의무화하는 법안을 통과시켰다. 조 바이든 미 대통령은 지난해 10월 인공지능 규제 행정명령에 서명하며 “누구나 특정 오디오나 영상이 인공지능으로 만들었다는 것을 알 권리가 있다”고 말했다. 행정명령에 따라 미 상무부는 인공지능 워터마크 표준을 개발할 예정이다.

지난달 스위스 다보스에서 열린 세계경제포럼에서 메타의 글로벌 담당 사장인 닉 칼레그는 “인공지능으로 생성한 콘텐츠를 탐지하는 게 정보기술업계가 당면한 가장 시급한 과제”라며 인공지능이 만든 콘텐츠를 감지하고 표시할 수 있도록 업계 공통의 기술표준을 만들자고 제안했다. 이 표준이 널리 채택되면 소셜미디어나 검색에서 특정 콘텐츠가 생성 인공지능으로 만들어졌다는 라벨을 붙일 수 있어, 오인으로 인한 피해를 예방할 수 있다. 포토숍 프로그램을 판매하는 어도비와 인텔 등은 여러 해 전부터 사진, 영상 등 디지털 콘텐츠의 변조 여부를 표시하는 기술표준(C2PA) 채택 캠페인을 벌여오고 있다. 챗지피티 개발사인 오픈에이아이는 지난 7일 자사의 이미지 생성 인공지능 도구 ‘달리3’에 이 기술표준의 워터마크를 붙이겠다고 발표했다. 구글과 메타도 각각 자사의 인공지능 도구로 생성한 콘텐츠에 워터마크를 표시하기로 했다.

‘인공지능 워터마크’ 작동의 조건

문제는 워터마크가 효과를 낼 수 있는 조건이 복잡하다는 점이다.

서비스별로 제각각이 아닌 기술업계 전체가 합의한 워터마크 기술표준이 필요하다. 텍스트, 이미지, 오디오, 동영상 등 모든 형태의 콘텐츠에 빠짐없이 적용될 수 있어야 한다. 워터마크가 적용되면 변형이나 합성을 해도 제거되지 않아야 하는데, 현재는 인공지능을 이용해 쉽게 우회할 수 있다. 인공지능 기술은 빠르게 발달하는데, 미래에 개발될 기술이 기존 워터마크 기술을 준수해야 하는 문제가 있다. 일부 국가들이 워터마크 규제를 강화해도 전세계 이용자와 개발자가 지킨다는 보장이 어렵다. 오픈소스로 개방된 인공지능은 개발자가 다양하게 변형할 수 있어 워터마크 규약을 따르지 않는 인공지능 모델이 얼마든지 개발될 수 있다. 이미 오픈소스인 스태빌리티AI는 불법인 아동 성착취 영상을 만드는 데 이용되고 있다. 또한 메타데이터 없는 사진이 모두 가짜인 것은 아닌 것처럼, 워터마크 없는 콘텐츠가 모두 조작된 것도 아니다.

실효성도 어려운 과제다. 소헤일 페이지 메릴랜드대 컴퓨터학과 교수는 지난해 10월 아카이브(ArXiv)에 발표한 ‘대규모 언어모델의 워터마크 신뢰성’ 논문에서 “기존의 워터마크를 모두 무력화했다”며 “현재로서는 신뢰할 수 있는 워터마킹이 없다”는 연구결과를 발표한 바 있다. 미국 정보감시단체인 전자프론티어재단(EFF)의 보안전문가인 제이콥 호프먼앤드루는 지난달 “인공지능 워터마크는 허위정보 문제를 해결하는 손쉬운 방법이지만, 속일 의도가 없는 경우에만 유용하다”며 “워터마크 방식은 효과가 없을 가능성이 높다”는 글을 홈페이지에 발표했다.

구본권 사람과디지털연구소장 starry9@hani.co.kr