AI로 더빙 영상 만든다…이스트소프트, 'AI 비디오 트랜슬레이터' 출시

AI 휴먼 기술로 다국어 발화 영상 생성

이스트소프트는 영상 속 화자의 음성을 복제하고 입 모양까지 생성해 다국어 발화 영상으로 변환해 주는 자동 더빙 서비스 '인공지능 비디오 트랜슬레이터(AI Video Translator)'를 출시했다고 13일 밝혔다.

AI 비디오 트랜슬레이터는 이스트소프트의 AI 휴먼 구독 서비스 페르소닷에이아이(PERSO.ai)의 확장 기능이다. PERSO.ai에 회원 가입만 하면 누구나 무료로 1분 분량의 더빙 영상을 제작해 볼 수 있다.

페르소닷에이아이 ‘AI 비디오 트랜슬레이터’ 서비스 이미지. 이스트소프트 제공

AI 비디오 트랜슬레이터는 화자의 음성과 미세한 어감과 감정선까지 살리고 배경 소음과의 조화까지 고려했다. 시청자는 자막, 음성 더빙 없이 원본 영상에 집중할 수 있고 글로벌 콘텐츠 제작자는 혁신적인 영상 제작 환경을 경험할 수 있다.

번역 정확도도 확보했다. 지원되는 언어는 한국어를 포함해 영어, 스페인어, 프랑스어, 포르투갈어, 중국어, 일본어 등 29가지다.

사용성도 강점으로 내세웠다. 일반적인 영상 더빙 작업에 최소 하루 이상의 시간과 수백만원이 들지만 AI 비디오 트렌슬레이터는 수분 만에 1만원 내외로 입 모양까지 더빙에 맞춰 립싱크 영상을 생성할 수 있다.

테크 유튜버와 진행한 베타 테스트 진행 결과 해외 시청자를 위한 영상 제작에 필요했던 시간이 AI 비디오 트랜슬레이터 활용 시 최대 70%까지 단축한 효과를 나타냈다.

앞으로 이스트소프트는 글로벌 더빙 시장 내 비즈니스 모델로 고도화할 계획이다. 정상원 이스트소프트 대표는 "음색과 감정을 보존해 다국어로 변환하는 AI 비디오 트랜슬레이터가 글로벌 콘텐츠 제작 환경에 혁신을 가져올 것"이라며 "앞으로 언어 제약 없는 정보 공유, 크리에이터와 기업의 해외 진출을 AI 비디오 트랜슬레이터로 적극 지원하며 글로벌 소통을 위한 플랫폼으로 역할을 확장할 것"이라고 말했다.

최유리 기자 yrchoi@asiae.co.kr