사진 한장이면 1분만에 목소리까지 재현…中 영상AI ‘쇼크’

바이트댄스 영상AI ‘시댄스 2.0’ 공개
간단한 명령어로 고품질 영상 제작
입모양 맞춰 음성 자동 생성 기능
속도 30% 단축…최대 3분 안걸려
틱톡 영상 무단 학습 가능성 제기
저작권·개인정보 침해 논란 확산
중국 느슨한 규제에 미국 AI 위협

“사진 속 캐릭터들이 상하이 동방명주 탑 옆에서 격투를 벌이는 영상을 제작해줘. 전체적인 스타일은 영화 ‘트랜스포머’를 참고하고 역동적인 움직임과 강렬한 에너지를 강조해줘.”

중국 유명 커피 체인 ‘미쉐빙청’의 마스코트 눈사람과 스타벅스 등 외국계 커피 앞치마를 두른 로봇 무리 사진 두 장과 함께 간단한 명령어를 입력하니 불과 3분 뒤 동방명주가 무너지고 눈사람이 결계를 뿜어내는 20초짜리 고해상도 애니메이션이 뚝딱 생성됐다. 별도의 화면 전환이나 액션 지시가 없었음에도 블록버스터 영화를 연상시키는 실감 나는 연출이 구현된 것이다. 더 짧은 버전은 1분 안에도 가능했다.

9일 중국 유명 테크 인플루언서 팀(본명 판톈훙)은 이 같은 내용으로 바이트댄스의 신규 영상 인공지능(AI) 모델 시댄스 2.0 체험기를 공개하면서 “업계의 판도를 뒤집을 것”이라고 감탄했다. 바이트댄스가 이달 7일 공개한 시댄스 2.0은 지난해 6월 1.0 버전 출시 이후 8개월 만에 내놓은 야심작이다. 입 모양에 맞춰 자연스러운 음성을 생성하는 ‘내러티브 오디오’ 기능을 탑재하고 제작 속도를 30% 단축하는 등 비약적 발전을 이뤘다.

시댄스 2.0이 생성한 격투 애니메이션. 유튜브 Mediastorm影视飓风 발췌.

하지만 팀은 경탄과 동시에 영상에서 “공포스럽다”는 표현을 여섯 번이나 반복했다. AI가 사용자의 허락 없이 개인정보를 무단 학습한 정황이 포착됐기 때문이다. 실제 팀이 본인의 사진 한 장과 함께 간단한 프롬프트를 입력하자 음성 관련 데이터를 첨부하지 않았는데도 실제 그의 목소리를 그대로 재현해냈다. 또한 사진에 찍히지 않은 본사 건물 뒷면의 구조까지 실제로 그려냈다.

업계에서는 바이트댄스가 더우인(틱톡의 중국명)의 방대한 이용자 데이터를 무단 학습했을 가능성이 크다고 보고 있다. 실제 팀은 1000만 명이 넘는 팔로어를 확보한 ‘왕훙(인플루언서)’으로 더우인에 업로드한 영상만도 428개나 된다. 팀 역시 “내 영상을 기반으로 광범위한 학습이 이뤄졌음을 보여준다”며 “바이트댄스로부터 저작권 활용에 대한 어떤 연락도 받은 적이 없다”고 강조했다.

문제는 현재로서는 이 같은 무단 학습을 막을 법적 근거가 없다는 것이다. 현행 더우인 약관에서는 이용자가 업로드한 모든 콘텐츠를 연구개발(R&D), 마케팅 목적으로 전 세계에서 무료로 사용할 수 있도록 규정하고 있다.

건물 앞면 사진만 입력했는데도 건물 뒷편까지 사실과 거의 유사하게 구현해낸 모습. 앞이 AI영상, 뒤가 실제영상. 유튜브 Mediastorm影视飓风 발췌.

중국은 이처럼 ‘저작권 사각지대’를 동력 삼아 영상 AI 분야에서 미국을 빠르게 추격하고 있다. 지난달 AI 벤치마크 기관 아티피셜애널리시스는 클링을 영상 AI 분야 1위로 평가했는데 클링의 모회사인 숏폼 플랫폼 ‘콰이쇼우’ 역시 바이트댄스처럼 업로드된 콘텐츠를 AI 학습에 활용할 수 있도록 약관에 명시해놓았다.

중국 당국도 2024년 ‘국가데이터국’을 설립해 의료·교통 등 핵심 공공 데이터를 AI 학습용으로 전면 개방하도록 하는 지침을 시행하며 기술 패권 확보에 속도를 내고 있다. 베이징시 인터넷법원도 이용자가 프롬프트 생성 등에 ‘충분한 지적 노력’을 기울였다면 AI 생성 콘텐츠에도 저작권이 인정된다는 판결을 내놓았다. 기업들이 저작권 리스크를 줄이며 더 공격적으로 개발에 나설 명분을 제공한 것이다. 항저우 ‘육소룡(AI 6개 스타트업)’으로 꼽히는 게임사이언스 창업자 펑지도 전날 시댄스 2.0에 대해 “(다른 나라가 아닌) 중국에서 나왔다는 사실을 매우 다행스럽게 생각한다”고 강조했다.

AI의 저작권 문제를 두고 소송전이 끊이지 않는 미국·유럽과는 대비되는 풍경이다. 실제 오픈AI는 지난해 10월 동영상 생성 모델 ‘소라(Sora) 2’를 공개하는 과정에서 유튜브와 틱톡 등 소셜네트워크서비스(SNS) 영상 수백만 개를 무단 학습했다는 비판에 직면했다. 논란이 거세지자 결국 오픈AI는 저작권자가 데이터 사용을 거부할 수 있는 ‘옵트아웃’ 가이드라인을 마련했다. 구글 역시 자사 AI 모델의 학습을 위해 유튜브 영상을 무단 사용했다는 의혹을 받아 지난해 12월 유럽연합(EU)의 수사를 받게 됐다. 미국 워싱턴DC 소재 싱크탱크 윌슨센터는 “미국이 컴퓨팅 파워에 규제의 벽을 쌓는 동안 중국은 저렴하고 제한 없는 데이터 접근성을 활용해 비대칭적 우위를 구축하고 있다”고 경고했다.

베이징=정다은 특파원 downright@sedaily.com