“K팝의 언어·성별 벽 허물어”… AI로 발음·음색 교정

하이브 기술 융합 프로젝트 미드낫
외국어로 부르면 수퍼톤이 발음 교정
6개 언어 음원·XR 뮤직비디오 공개

“이번 음원에 적용한 6개 언어는 전 세계 인구 중 절반이 사용하는 언어다. 이 기술이 앞으로 K팝 아티스트의 글로벌 활약에 있어 언어적 제약을 덜어주고 이를 통해 K팝의 영향력을 확대할 수 있기를 기대하고 있다.”

신영재 빅히트뮤직 대표

하이브가 기술 융합 아티스트 프로젝트 ‘미드낫(MIDNATT)’을 공개했다. 그룹 에이트, 옴므 출신의 가수 이현의 목소리에 인공지능(AI) 오디오 기업 수퍼톤의 기술력을 적용해 언어와 성별을 뛰어넘는 가창을 선보였고, 시각효과 전문기업 자이언트스텝이 확장현실(XR)이 적용된 뮤직비디오를 제작했다.

왼쪽부터 정우용 하이브IM 대표, 가수 미드낫(본명 이현), 신영재 빅히트뮤직 대표. /하이브 제공

빅히트뮤직과 하이브IM은 15일 오후 서울 용산구 CGV에서 미드낫 디지털 싱글 ‘마스커레이드(Masquerade)’ 발매 기념 기자간담회를 열었다. ‘마스커레이드’는 이날 오후 1시 한국어, 영어, 일본어, 중국어, 스페인어, 베트남어 등 총 6개 언어 음원으로 각각 발매됐다. 다국어 음원이 동시에 출시된 것은 세계 최초다.

다국어 음원 작업엔 하이브가 올해 초 인수한 수퍼톤의 AI 기술이 쓰였다. 미드낫이 직접 6개 언어로 노래를 불렀고 AI가 아티스트의 발음을 자연스럽게 교정했다. 아티스트 가창 박자에 맞춰 원어민이 내레이션을 하면 이 데이터를 아티스트의 가창 데이터에 적용하는 과정을 거쳤다. 이를 통해 아티스트의 음악적 표현을 훼손하지 않고 외국어 발음만 자연스럽게 교정할 수 있는 것이 특징이다.

이를 통해 음악에 대한 글로벌 팬들의 몰입감을 극대화하려는 게 빅히트뮤직의 목표다. 신영재 빅히트뮤직 대표는 “언어 장벽을 없애서 글로벌 팬이 음악을 보다 몰입감 있게 즐길 수 있도록 하고자 했다”고 말했다.

또 미드낫의 목소리가 여성의 목소리로 변환돼 음원에 삽입되면서 여러 명의 가수가 참여한 듯한 효과를 냈다. 수퍼톤의 보이스 디자이닝 기술이 쓰였다. 음원 사운드에 어울리는 여성 음색을 제작하고 그 음색을 아티스트가 직접 부른 구간에 합성하는 방식이다.

미드낫(본명 이현)은 수퍼톤의 음원 기술에 대해 “경이로웠다. 제 목소리가 바로 여성 목소리로 변환되는 것에 대한 놀라움이 있었다”며 “보통 (남성의 음성을) 여성의 음성으로 만들려면 키가 올라가는데, 키 변환 없이 저만의 창법이 그대로 드러나면서도 다른 목소리가 된다는 게 놀라웠다”고 말했다.

정우용 하이브IM 대표는 “이 기술은 라이브 공연도 가능하다”며 “다음달 ‘위버스콘’에서 선보일 수 있을 것”이라고 말했다.

XR 기술이 적용된 ‘마스커레이드’ 뮤직비디오는 자이언트스텝이 제작을 맡았다. 자이언트스텝은 하이브가 40억원을 투자한 시각 효과 전문 기업이다. 뮤직비디오는 숲 속 장면을 제외한 모든 장면이 XR에 기반해 제작됐다. XR은 360도 영상을 바탕으로 가상현실(VR)과 증강현실(AR)을 아우르는 기술이다. 시공간과 계절 등 환경에 구애받지 않고 콘텐츠를 제작할 수 있다.

신영재 빅히트뮤직 대표. /하이브 제공

또 배경 합성 결과를 현장에서 실시간으로 확인할 수 있는 ‘프리비주얼’ 기술 구축해 콘텐츠 제작 시간을 단축했다. 기존에는 녹색, 파란색 배경에서 촬영을 진행한 후 후반 작업을 통해 가상 화면을 보고 합성한 뒤 수정 작업을 진행했으나, 이 기술을 통해서는 현장에서 합성된 가상 화면을 바로바로 확인할 수 있어 즉각적인 수정이 가능하다.

신 대표는 “기존에도 게임이나 스토리 사업 등 하이브의 여러 설루션 사업과 협업하면서 여러 시도를 전개했다. 다만 음악 제작과 관련해 기술을 적극적으로 도입한 사례는 이번이 처음”이라며 “이번 프로젝트 결과가 궁금하다. 팬과 대중에게 좋게 받아들여진다면 다른 아티스트에도 적극 활용되지 않을까 기대한다”고 말했다.

- Copyright ⓒ 조선비즈 & Chosun.com -