죽은 사람 목소리도 살리는 AI… 음악과 노래까지 파고든다

존 레논 목소리로 비틀즈 마지막 곡 만들어

글쓰기, 그림 그리기와 같은 인간의 창작 영역을 파고드는 인공지능(AI)이 음악, 노래까지 넘보고 있다. AI 기술로 죽은 사람의 과거 녹음된 목소리를 추출한 뒤, 새로운 곡을 만들 수 있다. 남성 목소리를 여성 목소리로 변환해 한 사람의 음성으로 듀엣곡도 제작 가능하다. 급속도로 발전하는 AI 기술이 음악 산업에 끼칠 파급력을 고려하면, 사회적 합의가 선행해야 한다는 지적이 나온다.

비틀즈 멤버인 폴 매카트니(81)는 13일(현지시간) 영국 BBC라디오 인터뷰에서 AI 기술을 이용해 과거 데모 테이프에서 추출한 존 레논의 목소리로 신곡을 발표한다고 밝혔다. 존 레논은 1980년 괴한의 총격으로 사망했다. 매카트니는 “비틀즈의 마지막 기록”이라고 표현했다. 신곡은 올해 연말 공개될 예정이다.

매카트니는 “AI 기술을 통해 존의 순수한 목소리를 추출할 수 있었고, 이후 믹싱 작업을 거쳤다”고 설명했다. 곡 제목은 아직 알려지지 않았지만, 레논이 사망 2년 전에 작곡한 ‘나우 앤 덴’(Now and Then)일 가능성이 높다고 영국 언론들은 추측한다. 이 곡은 후렴구가 있지만, 벌스(1절·2절)는 남아있지 않다.

비틀즈는 27년 전인 1996년 레넌의 미완성곡 ‘리얼 러브’(Real Love), 1995년 ‘프리 애즈 어 버드’(Free As A Bird)를 발표했었다. 당시엔 목소리를 깨끗하게 추출하는 작업은 불가능했다. 하지만 현재 기술로 선명한 목소리를 추출할 수 있고, 이 목소리로 새로운 가사와 멜로디의 노래를 부를 수 있게 할 수 있다.

구체적으로 어떤 AI 기술을 사용했는지는 공개되지 않았다. 일부에선 ‘목소리 딥페이크(딥러닝과 페이크의 합성어)’에 이용되는 기술을 썼을 것으로 추정한다. 다만 AI 기술로 앨범을 제작하는 전자음악가 홀리 헌든은 “소스 분리(source separation)를 사용했을 가능성이 있다. 추출된 음성을 기반으로 새로운 악기들이 반주하는 형태”라며 “머신러닝으로 더 쉬워진 기술인데, 딥페이크와 좀 다르다”고 ABC방송에 말했다.

한국에서도 고인의 목소리를 딥러닝 AI가 학습해 모창하는 사례가 잇따른다. 지난 2021년 2월에 한 음악방송 프로그램에서 고(故) 김광석의 목소리로 ‘편지’를 부르는 장면이 등장했다. AI 오디오 솔루션 기업 ‘수퍼톤’의 작품이었다. 올해 초 하이브에 인수된 수퍼톤은 기술 융합 신개념 가수 ‘미드낫’의 신곡에도 AI 기술을 적용했다. 남성 가수 목소리를 기반으로 여성 보컬을 구현하고, 다국어 음원 발매를 위한 발음 교정 솔루션을 선보였다. 음원을 제작할 때 직면하는 성별과 언어의 제약을 뛰어넘은 셈이다.

AI는 직접 새로운 음악을 만들기도 한다. 구글은 AI 음악 생성 도구인 ‘뮤직LM’을 개발했다. 텍스트를 입력하면 그에 어울리는 음악을 생성한다. 뮤직LM은 28만 시간 분량의 음악 데이터를 학습했다. 메타는 이달에 AI 음악 생성기 ‘뮤직젠’을 오픈소스에 공개했다. 명령어를 텍스트로 입력하면 최대 12초의 음악을 만들어준다. 한국 스타트업 ‘포자랩스’는 AI 배경음악 구독 서비스 ‘비오디오’를 운영하고 있다. AI가 자사 직원들이 작곡한 곡을 학습해 노래를 만들기 때문에 저작권 문제 없이 음악을 사용할 수 있다는 게 포자랩스의 설명이다.

고도화한 AI 기술은 음악 산업에서 다방면으로 활용되고 있다. 이에 따른 부작용 우려도 커지고 있다. 김명주 서울여대 바른AI연구센터장은 “AI가 기존 음악 데이터를 학습해 노래를 생성한다면, 저작권 침해 문제에서 벗어나기 쉽지 않다”고 말했다. 이어 죽은 사람의 목소리로 노래를 만드는 것과 관련해 “DEAD(Digital Employment After Death·죽음 뒤 디지털 고용)라고 부른다. 살아있는 가수가 죽은 사람들과 경쟁하게 된 셈”이라고 설명했다.
저작권 논란은 갈수록 뜨겁다. 지난 4월 유명 래퍼 드레이크와 싱어송라이터 위켄드의 신곡으로 화제를 모은 ‘하트 온 마이 슬리브’(Heart on My Sleeve)는 AI가 만든 ‘가짜 음원’이었다. 이들의 소속사인 유니버셜뮤직은 저작권 침해를 문제 삼으며 음원 삭제를 요청했다.

조민아 기자 minajo@kmib.co.kr