AI 콘텐츠에 '워터마크' 확산…지우면 그만?

앤스로픽, EU AI법 시행에 워터마크 도입
단어·문장 바꾸면 우회…제거 기술도 등장
완벽한 판별엔 한계

생성형 인공지능(AI)이 만든 콘텐츠에 워터마크를 붙이는 움직임이 AI 기업 전반으로 퍼지고 있다. AI 생성물을 식별할 수 있는 장치를 마련해 투명성을 높이겠다는 취지지만, 탐지를 우회할 수 있는 방법과 기술이 함께 발전하면서 완벽한 판별 장치로 활용하기에는 한계가 있다는 지적이 나온다.

앤스로픽. AFP연합뉴스

13일 업계에 따르면 앤스로픽은 이달 2일 발효된 유럽연합(EU) AI법의 투명성 의무에 대응하기 위해 클로드 모델에 기계 판독용 워터마크를 적용하기 시작했다. 사람이 읽을 때는 알아차릴 수 없지만 별도의 탐지기를 통해 식별할 수 있는 흔적을 텍스트 자체에 남기는 방식이다. 앤스로픽은 향후 모든 AI 모델에 순차적으로 워터마크를 적용하고, 제3자가 이를 확인할 수 있는 탐지 도구와 기술 문서도 공개할 계획이다.

워터마크 도입은 업계 전반으로 확산하는 추세다. 구글은 '신스 ID'를 통해 제미나이가 생성한 텍스트와 이미지에 워터마크를 적용 중이다. 오픈AI는 이미지에 콘텐츠 출처 정보를 기록하는 'C2PA' 메타데이터를 적용하고 있다. AI 음악 서비스 수노, 뉴스레터 서비스 서브스택 등도 AI로 만든 콘텐츠를 식별하고 있다.

다만 업계에서는 단어나 문장 구조를 바꾸는 것만으로 탐지를 피할 수 있기 때문에 AI 기업들의 이러한 노력이 완전한 효과를 거두기는 힘들 것이라고 보고 있다. 앤스로픽이 선택한 텍스트 워터마크는 AI가 단어를 고를 때 특정 단어가 선택될 확률을 미세하게 높여 글 전체에 통계적 패턴을 남기는 방식이다. 탐지기는 특정 단어가 얼마나 많이 선택됐는지를 분석해 워터마크 여부를 판단한다.

AI 탐지업체 GPT제로의 최고기술책임자(CTO) 알렉스 추이는 "단어와 문장 구조를 함께 바꾸는 강도 높은 '바꿔쓰기'를 거치면 워터마크가 살아남기 어렵다"고 지적했다. 구글 또한 신스ID 공개 당시 짧은 글, 재작성·번역된 텍스트, 사실 질문에 대한 응답에서는 탐지 성능이 떨어질 수 있다고 밝혔다.

워터마크가 생성물의 품질을 떨어뜨릴 수 있다는 우려도 나온다. 알렉스 추이 CTO는 AI가 원래 선택하려던 단어의 확률을 인위적으로 조정해 단어 선택에 제약을 줄 수 있다며 텍스트 품질 저하 가능성을 언급했다.

워터마크를 무력화하는 기술도 발전 중이다. 워터마크 생성 규칙을 역으로 알아내는 '워터마크 스틸링'이 대표적이다. 스위스 취리히연방공대 연구진은 워터마크가 적용된 AI에 반복적으로 질의해 규칙을 추정하는 공격을 실험했다. 그 결과 50달러 미만의 비용으로 기존 워터마크를 지우거나, 사람이 쓴 글에 가짜 워터마크를 심는 공격에서 평균 성공률 80%를 기록했다.

일반 이용자가 접근할 수 있는 제거 도구도 등장하고 있다. 개발 플랫폼 깃허브에도 지난 6월 AI 생성 이미지의 표시를 제거하는 오픈소스 도구가 공개됐다. 구글의 신스ID 같은 비가시 워터마크부터 C2PA 메타데이터, 워터마크 로고까지 제거할 수 있는 기술이다.

이은서 기자 libro@asiae.co.kr