생성형 AI 워터마크 의무화 추진…'텍스트' 생성물 탐지 실효성 제기

딥페이크나 생성형 AI 기술로 만든 가짜영상 등이 사회적 문제로 불거지면서 최소한의 규제로 워터마크 의무화가 추진 중이다. 하지만 AI가 생성한 문장(텍스트)는 구별이나 탐지가 어려워 정책 실효성이 낮다는 지적도 나온다.

21일 AI 업계에 따르면 우리나라를 비롯한 각국 정부와 의회, 기업들이 생성형 AI 결과물에 워터마크 표시를 의무화하는 것을 추진하고 있다. 워터마킹 등을 통해 이용자가 AI 생성물을 구분하고, 검증할수록 하는 것이다.

AI 생성물에 대한 워터마크는 텍스트, 오디오, 이미지, 영상 등에 AI 생성물에 식별 가능한 신호를 심는 것을 말한다. 보이지 않는 워터마크도 있으며, 누군가 생성물을 수정하더라도 변조 방지 기능까지 갖춰야 한다.

미국 바이든 정부는 지난해 10월 30일 행정명령을 발표하고 AI로 생성된 콘텐츠와 그렇지 않은 콘텐츠를 구분할 수 있도록 효과적 라벨링, 콘텐츠 추적 매커니즘을 개발해야 한다고 제시했다.

우리나라도 생성형 AI 결과물에 대해 이용자가 구별, 검증할 수 있도록 의무화를 추진 중이다. 5월 21일 국무회의에서 과학기술정보통신부는 관계부처 합동으로 '새로운 디지털 질서 정립 추진계획'을 보고하고, AI 생성물에 대한 워터마크 표시를 의무화하는 방안을 추진한다고 밝혔다.

그러나 워터마크 의무화 제도 시행 전부터 사업자에 불합리하고 또 현실적으로 실행 불가능한 의무가 될 수 있다는 지적이 세계 최초로 AI법을 통과시킨 유럽연합(EU) 내부에서 제기되고 있다.

EU는 올해 말 시행되는 'AI법'에서 AI 시스템 제공자에게 사용자가 AI 생성 콘텐츠를 구별할 수 있고, 또 탐지·추적할 수 있는 의무를 부과하고 있다.

그러나 기본적으로 워터마크 표시를 눈에 잘 띄게 표시할수록 콘텐츠 품질이 저하될 수 있고, 아직 워터마크 기술 표준이 제대로 갖춰지지 않아 상호 운용성에도 문제가 제기됐다.

특히 생성형 AI가 생성한 텍스트에 대해선 워터마크를 삽입해도 정확한 구별이나 탐지, 추적이 사실상 불가능하다는 것이 전문가들의 공통된 의견이다.

유럽의회조사국(EPRS)은 텍스트 AI 생성물에 대해 원문 의미를 손상하지 않으면서 워터마크 삽입이 어렵고, AI 텍스트 감지기가 영어가 원어민이 아닌 텍스트에는 편향될 수 있을 가능성을 제기했다. 또 인간이 쓴 텍스트를 AI가 생성한 문장으로 잘못 탐지할 수 있다고 지적했다.

과제물이나 논문, 자기소개서 등에 쓰인 문장에서 생성형 AI 산출물 여부를 탐지하는 AI 기업 무하유 측도 “글자수가 적을수록 탐지가 어려워진다”며 “글자수 300자 이하에선 탐지가 어렵다”고 전했다.

김명희 기자 noprint@etnews.com