‘팝스타’ 브루노 마스가 뉴진스 하입 보이 부른 사연은 [더테크웨이브]

기술 융합된 신개념 음악 콘텐츠
‘테크테인먼트’에 주목하라
정우용 하이브IM 대표 인터뷰
“아티스트 권리 보호하며 발전시킬 것”

최근 유명 팝가수 브루노 마스가 뉴진스의 ‘하입 보이’를 커버한 영상이 화제를 모았습니다. 브루노 마스의 그루브한 음색이 K팝과 찰떡궁합이라는 평가와 함께 폭발적인 반응이 나왔죠. 해당 영상은 유튜브에서 조회 수 140만회를 넘겼고, 틱톡, 릴스 등 숏폼 플랫폼에서 공유·확산되고 있습니다. 하지만 사실 브루노 마스가 직접 노래를 부른 것은 아닙니다. 브루노 마스의 목소리를 학습한 AI가 음원을 커버한 것이지요.

브루노 마스의 목소리를 학습한 인공지능(AI)이 커버한 뉴진스의 ‘하입보이’가 영상 플랫폼에 올라와 있다. <유튜브 캡처>

인공지능(AI) 기술이 K-팝 등 엔터테인먼트 시장의 게임체인저로 떠오르고 있습니다. 당장 AI기술은 비영어권 아티스트들의 해외 진출 장벽이었던 장애물(언어 문제)를 해결하고 있고요. 나아가 아티스트의 목소리를 AI가 학습해 음원을 무제한으로 생산하는 것도 가능해졌습니다. 세상을 떠난 아티스트을 되살려 ‘불멸’의 존재로 만드는 길이 열린 셈이죠. 예컨대 마이클 잭슨 목소리를 학습한 AI가 브루노 마스의 히트곡 ‘When I was your man’을 커버해 전 세계적으로 화제를 모은 영상이 대표적입니다.

테크·엔터 업계에서는 AI와 엔터의 결합이 상당한 변화를 가져올 것이라는 전망도 나옵니다. 목소리 뿐 아니라 아티스트의 얼굴까지 합성하는 ‘딥페이크’와 결합된다면 시장 성장 측면에서는 폭발적인 시너지가 나올 수도 있겠네요. 콘텐츠 소비자 입장에서는 예술적 향유와 선택의 폭이 넓어진다는 장점이 있지만, 아티스트 보호·저작권 문제 등은 앞으로 업계가 풀어나가야 할 과제라는 지적도 많습니다.

하이브 “엔터의 미래는 음악과 기술 융합”

글로벌 엔터공룡으로 떠오른 하이브는 음악과 기술의 융합에 있어 가장 앞서가는 회사입니다. 대표적으로 하이브가 최근 선보인 프로젝트 L은 음악에 대한 몰입도를 강화시키는 새로운 접근법을 제시해 주목받고 있습니다. 특히 레이블과 인터랙티브 미디어 기술 기업이 컬래버레이션을 통해 새로운 차원의 음악과 기술 융합 시도를 이뤄낸 사실상의 첫 번째 케이스죠.

프로젝트 L은 하이브의 산하 레이블 빅히트 뮤직과 솔루션 사업 조직 하이브IM이 협업해 준비한 아티스트 미드낫(MINDATT) 데뷔 프로젝트입니다. 최근 기자와 만난 정우용 하이브IM 대표는 “음원과 뮤직비디오에 신기술을 접목해 아티스트의 음악적 메시지를 한계 없이 구현하고, 팬들에게는 새로운 음악적 경험을 선사하기 위한 시도”라고 설명했습니다.

프로젝트L에 접목된 혁신 기술

미드낫의 디지털 싱글 ‘마스커레이드(Masquerade)’에는 AI 오디오 기업 수퍼톤과 리얼타임 콘텐츠 솔루션 전문 기업 자이언트스텝의 기술이 투입됐습니다.

특히 세계 최초로 6개 언어로 동시 발매된 마스커레이드에는 특정 언어를 유창한 발음으로 구현하는 것을 돕는 수퍼톤의 다국어 발음 교정 기술이 활용됐는데요. 아티스트의 6개 언어로 가창한 데이터에 해당 기술을 접목해 아티스트의 외국어 가창이 한층 더 자연스럽게 들리는 음원을 만들어 낼 수 있었다고 합니다. 글로벌 팬들이 언어의 장벽을 넘어 K팝에 손쉽게 접근할 수 있는 계기를 만든 셈입니다.

미드낫의 디지털 싱글 ‘마스커레이드(Masquerade)’에 보이스 기술 작업을 진행중인 모습. <하이브>

이번 프로젝트에는 아티스트의 기존 가창 스타일은 보존하되 나이와 성별이 다른 음역대의 보이스를 구현하는 보이스 디자이닝 기술이 접목됐습니다. 하이브IM은 이 기술을 활용해 음원 중간의 인터루드(Interlude)에 아티스트 미드낫이 직접 부른 구간을 새롭게 디자이닝한 여성 음색과 합성해 음원에 최적화된 여성 보이스를 제작했습니다. 아티스트의 음악적 표현 수단을 확장하고, 팬들의 음악적 몰입감을 강화하기 위한 시도입니다.

자이언트스텝의 확장현실 기술을 활용한 비주얼 부분 기술력도 주목할 필요가 있습니다. 하이브IM은 국내 최초로 크로마와 LED 기반의 XR(eXtended Reality·확장 현실) 시스템을 동시 활용해 음원의 뮤직비디오를 제작했다고 밝혔습니다. 시공간적 제약을 극복해 음악적 메시지에 충실한 최적의 장소를 가상의 배경으로 구현해 낸 것인데요. 지금은 쓰임새가 별로 없다고 평가받는 XR이 머지않아 엔터업계 제작 판도를 바꿀지도 모르겠습니다.

XR시스템을 활용해 미드낫의 디지털 싱글 MV를 작업하는 모습. <하이브>

테크테인먼트는 엔터 산업을 어떻게 바꿀까

‘테크테인먼트(Tech-Tainment)’라는 용어도 새롭게 주목받고 있습니다. 엔터테인먼트와 기술의 결합을 뜻하는데요. 엔터테인먼트 산업의 기술 융합 시도는 콘텐츠를 소비하는 방식을 변화시킬 것으로 예상됩니다. 가령 소셜 채널을 통해 소비되는 콘텐츠들이 음악을 소비하는 방식의 일부가 되기도 하고요. 오프라인에서 진행되는 콘서트를 실시간 영상 송출 기술을 통해 방구석 1열로 옮겨오는 등 새로운 콘텐츠 감상 경험을 제공하는 방향으로 혁신이 이뤄지고 있습니다.

지상파 음악방송까지 진출하며 가상 인간 콘텐츠를 대중문화의 전면에 서게 한 버추얼 아이돌 ’메이브(MAVE:)‘는 테크테인먼트의 발전을 확인할 수 있는 사례라고 할 수 있습니다. 카카오엔터테인먼트의 기획력과 넷마블에프앤씨가 설립한 메타버스엔터테인먼트의 기술력으로 탄생한 메이브는 기존의 가상 인간들과 달리 딥러닝·딥페이크가 아닌 3D 기술로 외양을 제작된 것이 특징입니다. 캐릭터의 머리카락과 옷자락의 움직임 등을 시뮬레이션 기술인 CFX로 구현해 사실감을 더했죠. 댄스 등의 액션은 모션 캡처를 통해 실제 사람의 움직임을 반영했고 목소리에도 AI 기술을 접목해 언어와 관계없이 화자의 목소리를 캐릭터의 것으로 변환하고 멤버들의 색과 톤에 맞는 음성도 별도로 구현했고요. 이를 통해 가상 인간 콘텐츠의 진입장벽으로 여겨졌던 ’불쾌한 골짜기‘ 효과를 건너 진화했다는 평가를 받고 있습니다.

존 레전드가 가상현실 라이브 콘서트를

세계적인 팝스타 존 레전드(John Legend)는 미국의 가상 공연 플랫폼 ’웨이브(Wave)‘에서 가상현실 기반의 라이브 콘서트를 진행하여 관객들에게 독특하고 몰입도 높은 음악 경험을 제공한 바 있습니다. 그는 모션 캡처 슈트를 입고 실시간으로 촬영을 진행했는데, 화면 속에는 그와 닮은 캐릭터가 등장해 팬들과 소통했죠. 존 레전드의 버추얼 콘서트는 트위터와 유튜브를 통해서도 라이브 스트리밍 돼 물리적인 공간과 시간의 제한 없이 전 세계 전역에서 즐길 수 있도록 구현됐습니다. 관객들이 기부하면 무대 위에 꽃이 피어나는 효과가 구현되기도 하는 등 무대 연출의 한계를 뛰어넘고, 관객과 아티스트가 교감할 수 있는 공연예술의 새로운 가능성을 제시했다는 평가가 나왔습니다.

저작권 등 넘어야 할 산도

최근 AI 생성물로 인한 저작권 논란은 음악 뿐 아니라 글, 그림, 웹툰 등 창작 분야에서 전 방위로 불거지고 있습니다. 지난달 ’고스트라이터‘라는 익명의 제작자가 AI로 가수 드레이크·더 위켄드의 목소리를 만들어 신곡을 발표하고 음원 유통까지 시키면서 논란이 커졌습니다. 생성형 AI의 저작권 침해 논란과 법·제도 정비 필요성도 대두되는 상황입니다.

하이브IM 정우용 대표가 매일경제와 인터뷰하고 있다. <하이브IM>

정우용 하이브IM 대표는 보이스 기술을 음원에 적용하는 과정에 대해 많은 고민이 있었음을 솔직히 전하기도 했는데요. 그는 “아티스트 고유의 서사와 진정성을 포기하지 않기 위해, 아티스트가 전하고자 하는 메시지와 목소리를 왜곡하지 않으면서도 다채로운 방식으로 전달할 수 있는 방향을 고민했다”고 말했습니다. 그러면서 정 대표는 “기술과 음악의 만남은 K-팝 산업의 토양을 비옥하게 하는 새로운 시도이자, 하이브가 기술융합을 중장기 전략으로 제시한 이유”라면서 “창작자와 아티스트의 권리를 보호하면서도 AI 등 기술과 엔터 융합을 통해 새로운 방법을 계속 고민하겠다”고 밝혔습니다.

혁신의 큰 물결은 인위적으로 막을 수 없습니다. 문제는 기술이 아니라 그것을 사용하는 인간에 있겠죠. 엔터·테크 업계가 다시 한 번 지혜롭게 산업을 발전시키길 기대해봅니다.

<황순민 기자의 더테크웨이브> 연재를 시작합니다. 기술(Tech)이 세상을 더 나은 곳으로 만들리라 믿습니다. 혁신적인 서비스로 인류를 진보시키는 최신 기술 동향과 기업 사례를 소개하겠습니다. 네이버 기자페이지를 구독하시면 다음 기사를 쉽게 받아보실 수 있습니다.