스튜디오프리윌루전, 서울혁신챌린지서 AI 멀티모달 기술 입증…글로벌 진출 [서울형 R&D:혁신의 심장]

135만 건 멀티모달 데이터셋 구축 및 SOTA 지표 달성…영상 효과음 공정 자동화
독자 파이프라인 'AFX' 도입해 제작비 50% 절감…MAU 6.8만 플랫폼 기반 할리우드 진출 본격화

스튜디오프리윌루전 'X-Panza'

스튜디오프리윌루전(대표 권한슬)이 '제9회 서울혁신챌린지'에 참가해 멀티모달 AI를 활용한 지능형 영상 폴리사운드 생성 기술 및 자동화 플랫폼 개발을 완료했다고 31일 밝혔다. 

스튜디오프리윌루전은 이번 연구를 통해 시각과 청각 정보의 의미적 일치 학습을 위한 비디오-오디오 세만틱 데이터 100만 건을 포함, 총 135만 건 규모의 대규모 멀티모달 학습 데이터셋을 구축했다. 이를 기반으로 시점 탐지 정확도(Onset AP) 77.1%를 달성했으며, 의미적 유사도(CLIP Similarity)와 생성 품질(FID) 등 전 지표에서 세계 최고 수준(SOTA)의 모델 기록을 경신하는 성과를 거뒀다. 실제 사운드 믹싱 전문업체 2곳과 진행한 실증 사업(PoC) 및 설문에서는 실무 현장에 즉시 도입 가능한 수준이라는 전문가들의 평가를 받았다고 회사는 전했다.  

회사 측은 "이번 성과가 기존 수작업 위주의 효과음 제작 공정을 AI로 혁신해 제작 효율을 높이고, 영상 콘텐츠 산업 전반의 제작 환경을 자동화하는 데 기여할 것으로 평가받고 있다. 고품질 사운드 생성 기술의 대중화를 통해 크리에이터들의 창작 범위를 넓히는 동력이 될 전망이다"라고 설명했다. 

2023년 6월 설립된 스튜디오프리윌루전은 약 70명의 전문 인력과 자체 AI 연구소, 제작 스튜디오가 실시간으로 협업하는 국내 AI 콘텐츠 제작 파이프라인을 구축했다. 자체 'AFX(AI 기반 시각효과)' 제작 파이프라인을 도입해 기존 노동집약적인 VFX 작업 방식 대비 비용은 약 50% 절감하고, 제작 기간은 3배 이상 단축시켰다. 

현재 이미지 및 영상 확장 기술(Xpanza), AI 더빙 구현 기술(TailorDub), 효과음 자동 생성 기술(Video to Foley) 등 다수의 자체 개발 AI 특허 기술을 실무 제작 환경에 적용하고 있다. 

이를 바탕으로 세계 최초 AI 영화제인 두바이 국제 AI 영화제(AIFF)에서 영화 'One More Pumpkin'으로 대상과 관객상 2관왕을 수상했다. 국내에서는 현대자동차, 롯데그룹, 우리은행, KT, 한국마사회 등 주요 대기업 및 공공기관의 커머셜 프로젝트를 최다 수행한 바 있다.  

또한 월간 이용자(MAU) 6만 8000명을 돌파한 국내 최대 규모의 AI 영상 전문 플랫폼 'AI-Kive'를 운영하며 건강한 창작 생태계 조성에도 앞장서고 있다. 플랫폼 내 AI 영상 공모전 및 온라인 상영관 운영을 통해 AI 영상 콘텐츠의 유통과 시장 성장을 견인하며 핵심 거점으로 평가받고 있다. 

스튜디오프리윌루전 측은 국내 시장에서 축적한 성과와 신뢰를 바탕으로 미국 할리우드를 중심으로 한 글로벌 시장 진출에 속도를 낼 계획이다. 아직 명확한 기술 표준이 정립되지 않은 글로벌 AI 영상 콘텐츠 시장 상황을 고려해, 모든 기업이 동일한 출발선에 있다는 판단하에 선제적인 진입 전략을 추진 중이다. 

회사 관계자는 "AFX 기반 AI 영상 제작 솔루션과 자체 파이프라인을 지속적으로 고도화해 AI 콘텐츠 제작의 글로벌 표준을 제시하는 AI 기반 IP 스튜디오로 도약하겠다"고 전했다.

김성혜 한경닷컴 기자 shkimmy@hankyung.com