AI 영상도 ‘차이나쇼크’… 음성 딜레이·환각없이 1분만에 뚝딱

■ ‘시댄스 2.0’ 직접 써보니
한국어 음성 싱크 완벽히 맞춰
AI 고질병 화면오류 현상 개선
할리우드도 “충격적” 반응보여
구글 · 오픈 AI도 영향력 확장
韓, 美·中 사이 ‘샌드위치’ 우려

“이런 속도와 효율로는 차세대 인공지능(AI) 시장을 따라잡기 어렵습니다.”

중국 바이트댄스가 지난 12일(현지시간) 선보인 AI 영상 생성 모델 ‘시댄스 2.0’에 “반도체 공장에서 고대역폭메모리(HBM)를 주제로 토론하는 영상을 만들어달라”고 입력하자 단 1분 만에 이 같은 대화 내용이 담긴 15초짜리 영상이 만들어졌다.

인물들의 입 모양은 한국어 대사와 완벽하게 일치했고, 클린룸의 복잡한 장비와 방진복의 질감은 실제 영상과 구분하기 어려울 정도로 정교했다. 대화 역시 최근 AI 인프라 투자 확대에 따른 메모리 부족 현상과 현장 개발자들의 고민을 반영했다. 미국 정보기술(IT) 전문매체 디인포메이션은 “시댄스는 중국 AI 기업들이 전 세계 영상 분야에서 핵심 역할을 하게 될 것임을 보여주는 지표”라고 평가했다.

중국 AI 기업들이 고성능·저비용 모델을 융단폭격식으로 출시하는 ‘2월 대공세’를 펼치면서 글로벌 AI 시장이 충격에 사로잡혔다. 지난해 같은 시기 중국 딥시크가 미국 빅테크(거대 기술기업)의 10분의 1 비용으로 출시한 거대언어모델(LLM)이 파장을 일으킨 ‘딥시크 쇼크’가 1년 만에 영상 분야에서 재현되는 모습이다.

19일 관련 업계에 따르면 바이트댄스의 시댄스 2.0은 기존 AI 영상 모델의 ‘무성(無聲) 영상’ 한계를 깨고 상황에 맞는 오디오를 생성해 별도 작업 없이 완성도 높은 콘텐츠를 만들어낸다. 경쟁 모델인 오픈AI의 ‘소라’는 시댄스와 같은 AI 영상 생성 도구이지만, 기본적으로 오디오를 생성하지 않아 후편집이 필요하다는 단점이 있다. 시댄스는 이미지와 영상을 미리 입력해 여러 장면에서 인물들의 얼굴이나 복장이 변하지 않는 ‘범용 참조’ 성능도 압도적이다.

바이트댄스는 월 10달러(약 1만4500원)에 구독 서비스를 제공하는데, 15초 분량 영상을 단독 1000원 수준으로 낮췄다는 반응도 나온다.

시댄스의 등장에 글로벌 콘텐츠 업계를 대표하는 미국 할리우드도 충격에 빠졌다. 수천만 달러의 제작비와 수년의 시간이 필요하던 영화급 영상이 1분도 안 돼 순식간에 만들어지자 “할리우드는 이제 끝났다” “시댄스가 조합원들의 목소리와 초상권을 무단 사용해 수백만 미국인의 일자리를 빼앗아간다”는 반응이 나오고 있다.

중국 콰이쇼우도 지난 5일 새 AI 영상 생성 모델 ‘클링 3.0’을 선보였다. 한국어를 포함한 다국어 지원 기능을 추가해 글로벌 영토 확장에 방점을 찍었다. 클링은 최근 실시된 각종 영상 AI 평가에서 오픈AI 소라를 제치고 1위를 차지하는 등 기술적 우위를 입증한 바 있다.

정부가 ‘AI 3대 강국’을 선언했음에도 여전히 존재감이 미미한 국내 AI 업계는 정부 차원의 특단의 지원 조치가 없을 경우 미·중 사이에 낀 샌드위치 신세로 전락할 것이란 우려도 커지고 있다.

김호준 기자