소리와 AI:모짜르트, 나 만을 위한 작곡가로 부활하다 [김성영의 sound nomad]

2023년 여름, 카이스트 문화기술대학원에서는 특별한 공연이 열렸다. 헤럴드 경제가 후원한 2023 이노베이트 코리아 행사에서 세계적인 소프라노 조수미 카이스트 특임교수와 카이스트에서 개발한 인공지능 AI 피아노가 만나 아름다운 하모니를 선보였다. Virtuoso Net이라는 새로운 모델이 사용된 이 AI 피아노는 조수미 교수의 노래 선율을 이해하고 동시에 다음 부분을 예측하며 반주를 이어갔다. 음악적 이해와 예측을 바탕으로 AI 피아노는 노래에 생명력을 불어넣으며 음악 분야에서 기계와 인간이 어떠한 방식으로 협업할 수 있는지 그 가능성과 잠재력을 보여줬다. 2009년 팻 메스니의 오케스트리온(Orchestrion) 프로젝트가 전 세계를 놀라게 한 이후, 잠잠하던 기계 연주 영역에 AI 기술이 새로운 활기를 불어넣는 순간이었다.

컴퓨터를 기반으로 음악 창작 혹은 제작 과정에 필요한 기능을 보조하는 기술은 오랜 시간 사용되어 왔다. 오실레이터로 악기의 특징적인 음색을 조합하는 음원 합성 기술은 이미 80년대부터 대중음악의 트렌드로 자리 잡아온 바 있다. 컴퓨터와 가상 악기만으로 보컬을 제외한 대부분의 작업을 수행할 수 있기 때문에 더 이상 연주력에 대한 고민은 불필요했다. 연습시간에 매번 늦는 건반 연주자나 자칫하면 박자가 빨라지는 초보 드러머로 인한 스트레스를 받는 시절은 지났다. 명령에 맞춰 성실히 연주하는 컴퓨터는 소위 나만의 ‘원 맨 밴드’역할을 톡톡히 해준 셈이다. 90년대의 필자 또한 컴퓨터의 도움으로 ‘반주(MR)’테이프를 만들고 그 테이프에 맞춰 혼자 연주하곤 했었다. 행복한 시절이었다.

2023년 6월 대전 카이스트에서 열린 ‘이노베이트 코리아 2023’에서 AI 피아노와 함께 가곡을 연주하고 있는 조수미 교수 [헤럴드DB]

이 트렌드에 맞춰 대담한 도전장을 내민 자가 있었다. 바로 일본 야마하다. 보컬로이드 기술 기반으로 개발된 가상 가수 ‘하츠네 미쿠’는 스페인의 폼뻬우 파브라 대학 음악 기술 그룹(MTG)에서 개발한 기술을 야마하에서 제품화 한 모델로, 인간이 노래를 부를 필요가 없는 시대가 도래했음을 알렸다. ‘하츠네 미쿠’를 시작으로 가창 음성 합성(歌唱 音聲 合成, Singing Voice Synthesis) 기술의 중심인 보컬로이드는 현재까지도 전 세계에서 널리 사용되며 다양한 가상 가수의 개발에 박차를 가했다. 더 이상 믹 재거, 밥 딜란, 테일러 스위프트는 필요치 않게 되었다. 그들의 각종 스캔들과 몸값에 대한 고민도 무의미해졌다. 나는 곡을 쓰고, 컴퓨터는 노래한다. 음악적 아이디어만 있으면 연주자도 보컬도 필요 없는 새로운 시대가 열렸다.

2010년 도쿄에서 열린 야마하 보컬로이드 콘서트에 기술 지원을 나간 적이 있었다. 하츠네 미쿠를 비롯한 가상 가수들의 홀로그램과 그들을 위해 연주하는 사람들이 등장하는 이색적인 공연에서 나의 역할은 가수들의 목소리가 관중에게 제대로 전달되는지 음향적으로 확인하는 것이었다. 나를 포함한 연주자와 다수의 인력이 가상의 가수를 위해 일을 하며 영화 ‘매트릭스’의 인간 배터리처럼 컴퓨터의 사환이 된 것 같아 내내 묘한 기분이 들었다. 더욱 놀라운 것은 수 만명의 관중이 이 공연을 열광적으로 관람했다는 점이다. 언제나 그렇듯, 문화는 상상 이상으로 빠르게 변화하며 그 변화의 중심에는 문화 기술의 발전이 있었다.

가상 악기와 가상 보컬이 함께 연주하는 시늉만 하던 피상적인 형태의 ‘하츠네 미쿠’ 시대를 거쳐 현재는 AI 기술의 혁명으로 한쪽이 다른 쪽을 맞춰야 하는 ‘일방형 연주’가 아닌, ‘진정한 상호작용’이 가능한 패러다임의 전환이 이루어졌다. 스스로 악보를 읽고 (score-following), 음악적 해석이 가능한(이전 음악의 특징을 분석해 비슷한 특징을 만들어내는) 모델이 개발되며 인간과의 상호 연주가 가능해졌다. 앞서 말한 조수미 교수의 공연을 보며 나는 빨간 약을 선택해 매트릭스에서 깨어난 네오가 된 기분이었다. 인간이 기계에 의존하거나 기계가 인간에게 종속되지 않고 함께 새로운 문화를 만들어가야하는 시기가 개막했음을 피부로 느꼈다.

2018년 12월 8일 런던에서 열린 하츠네 미쿠 공연 실황 (무대 중앙에 홀로그램으로 재현된 가상 가수 하츠네 미쿠)[Report: Hatsune Miku''s sold-out show in London captivates massive crowd! (jrocknews.com) 제공]

이렇듯 음악 산업에서도 AI가 점점 더 큰 영향력을 발휘하고 있다. 유명 작곡가가 경연대회 심사 중 AI가 작곡한 음악을 1위로 선정했다는 사례는 AI가 음악 산업에 미치는 영향력을 단적으로 보여준다. 현재 가장 진보된 생성형 작곡 AI 서비스인 SUNO AI는 가사를 입력하기만 하면 SUNO AI가 그 가사를 바탕으로 ‘자동으로’ 노래를 만들어 준다. 연주력과 가창력을 기계로 대신하는 수준이 아닌 그 이상의 범주에 도달한 것이다. 화성학과 대위법, 코드 진행 등 음악적인 고민은 이제 언제 어디서나 무한으로 다양한 곡을 만들어내는 AI 앞에서 무용하다. 가사에 대한 고민 또한 사치다. 그저 프롬프트 몇 자로 챗 지피티(Chat GPT)를 통해 훌륭한 가사를 만들어낼 수 있으니. 저작권 시장과 작곡 프로세스의 대변동이 이제 우리 앞에 있다. 다만 그렇게 생성한 곡이 나의 음악적 감성과 맞는가하는 부분은 알 수 없다. 여러번을 반복해서 나의 감성을 또 훈련시키기 전까지는.

그래도 ‘곧 개인의 감성까지 예측해서 가사를 쓰고 음악을 만들어주고 또 함께 연주도 해주는 AI음악가가 나타나지 않을까’라는 상상을 해본다. 사실 이러한 상상은 이미 현실화 되고 있다. 특히 재즈의 즉흥 연주를 연구함으로 이러한 음악적 상호작용성에 대한 연구가 빠르게 진행되고 있다. 특히 미국방부 고등연구계획국 DARPA가 초기 재즈 즉흥 연주에 대한 연구를 주도적으로 해왔다는 사실은 필자의 관심을 끌었다. 세계 최첨단 무기 개발로 유명한 미정부 기관이 왜 재즈 즉흥 연주 연구에 관심을 가진걸까? 함께 연주하는 것, 특히 맥락 속에서 다른 사람의 즉흥적인 변화를 감지하고 반응하는 것이 AI에게 어려운 과제이기 때문이 아닐까라고 추측해본다. 언제일지 모르나 이러한 기술적 난제가 해결된다면 아마도 나의 감성까지 이해해줄 AI 모차르트를 개인 작곡가로 고용할 날이 머지 않아 올 것이다. 아니 어쩌면 음악의 신 뮤즈의 강림일지도 모를일이다.

bonsang@heraldcorp.com