커버곡도 카툰도 만드는 ‘팔방미인 AI’[이경전의 행복한 AI 읽기](7)

멋진 커버곡은 우리를 행복하게 한다. 1988년에 나온 이문세 5집의 ‘붉은 노을’을 빅뱅이 20년이 지난 2008년에 멋지게 커버했다. 너바나의 MTV 언플러그드 라이브에 수록된 ‘The Man Who Sold The World’는 데이비드 보위 원곡의 커버이고, 카를라 브루니의 ‘Stand by Your Man’도 역시 멋진 커버곡이다. 그런데 이제는 커버곡을 AI가 하는 시대가 와버렸다.

장기하가 작사·작곡한 비비의 ‘밤양갱’은 곡 자체로도 히트곡이지만, AI 커버의 시대를 연 곡으로도 역사에 남을 것 같다. 유튜브에서 ‘밤양갱’ AI를 검색해 보면 박명수 AI, 양희은 AI, 오혁 AI, 악동뮤지션 이수현 AI, 심지어 이 곡을 작사·작곡한 장기하가 부른 듯한 장기하 AI 버전, 잔나비 최정훈 AI 버전, 지드래곤 AI 버전 등 무수한 AI 커버 버전이 나온다. 이렇게 AI 커버를 만드는 서비스도 나와 있다. 소리소리AI(sorisori.ai/)라는 사이트에 가 보면 자신의 목소리로 기존 음악의 커버를 손쉽게 만들 수 있다. 무반주로 15~30분 노래를 불러서 업로드하고, 학습을 시키면 2~3시간 만에 학습이 완료되고, 커버할 곡을 업로드하면 그 곡을 자신의 목소리로 바꿔준다. ‘밤양갱’의 AI 커버들은 이러한 방식으로 만들어진 것이다.

소리소리AI를 이용하여 음성을 학습시키고 AI 커버를 제작하는 화면

AI 커버곡을 만드는 게 아니라 아예 새로운 노래를 작곡하고, 노랫말도 자동으로 작사하고, 노래까지 부르게 할 수도 있다. Suno.AI를 이용해 곡에 대한 설명을 몇 단어 입력하면 바로 만들어준다. 축구 응원을 위한 신나고, 웅장한 록 음악을 만들어달라고 하니 바로 ‘We Will Rock(And Roll)’이라는 노래를 만들어주었고, 음악 파일과 동영상 파일을 다운로드할 수도 있게 돼 있다. 작사와 작곡, 노래를 1분도 안 돼 완성한다. 한 명령에 2개의 대안을 만들어주는데, 그중 하나를 선택해 계속 향상하게 시키는 것도 가능하다. 곡의 제목을 직접 주는 것도 가능하고, 가사를 직접 넣어도 되고 곡의 스타일도 지정할 수 있다. 제목, 가사, 스타일을 안 넣어도 알아서 만들어주기도 한다.

축구 응원가를 만들어달라고 입력하는 화면

‘We Will Rock(And Roll)’이라는 축구 응원가가 작곡되고, 가사와 보컬도 같이 만들어진다.

필자는 모던 펑크록 풍의 축구 응원가도 만들어 보았고, 프랑스 샹송 풍의 로맨틱하고 섹시한 불어 가사의 여성 가수 목소리의 음악도 만들어보았다. 주변 사람들에게 들려주니 노래가 좋다는 반응이 많았다. 필자가 만든 축구 응원가의 가사를 AI 번역 서비스 DeepL을 이용해 한국어로 번역해 보았다.

[1절]

발을 딛고 일어나 시작하자

리듬을 느껴봐, 북소리를 들어봐

함께라면 우린 강해, 우린 이겨낼 거야

우리가 뭉쳐서 우리가 뭐로 만들어졌는지 보여주자

[2절]

모든 태클, 모든 터치다운에서

우리는 우리의 전투를 싸울 거야, 그들이 우리를 무너뜨리지 못하게 할 거야

군중의 함성, 우리 혈관의 힘

우리는 챔피언, 멈출 수 없는 불꽃

[후렴] (코러스)

우린 록(록), 우린 롤(롤)

장벽을 뚫고 우리의 목표에 도달하자

목소리를 높여, 정신을 불태우자

우리는 챔피언, 전투의 왕들

이렇게 음악을 만드는 데 전혀 돈이 들지 않는다. 독자들도 직접 해보면 놀라움을 경험할 수 있을 것이다.

웹툰을 손쉽게 만드는 방법도 나왔다. 로어머신(loremachine.ai)은 스토리 텍스트를 입력하면, 웹툰이나 그래픽 노블을 바로 만들어주는 서비스를 출시했다. 텍스트를 넣고 나면 작품의 배경 공간의 스타일을 설정하고, 스토리에 나오는 캐릭터들의 모습 초안을 제시한 후 이를 사용자가 클릭으로 미세 조정할 수 있도록 하고, 그렇게 해서 나온 장면들을 사용자가 선택해 최종 스토리보드를 생성하면 사용자가 미세 편집할 수 있도록 하는 서비스다.

작품 속 등장인물의 스타일을 설정하는 화면

생성된 스토리보드의 모습

이렇게 AI는 다양한 콘텐츠를 생성하는 도구로 그 활용 범위를 넓히고 있다. 다만 직접 수작업으로 만든 ‘밤양갱’의 커버가 그 예술성과 창조성에서 여전히 AI보다 뛰어남을 강조하고 싶다. 합성물 유튜버 제프프가 AI를 쓰지 않고 만든 황정민 ‘밤양갱’ 리믹스나, 1인 크리에이터 화성인 릴도지의 ‘평양갱’ 그리고 래퍼 케이셉 라마(K$AP Rama) ‘밤양갱’ 등을 감상해 보면 아직 단순 AI의 커버는 인간 아티스트의 예술적 감각에는 못 미치고 있는 것이 분명하긴 하다.

한편 지난 3월 29일 오픈AI는 자사의 블로그를 통해 보이스 엔진(Voice Engine)을 개발했다고 알렸다. 사용자가 15초의 자기 목소리를 들려주면, 세상의 모든 언어를 자신의 목소리로 생성할 수 있는 기능을 선보였다. 이제 사람들은 어떤 원고를 힘들여 읽을 필요가 없다. 특별히 다른 나라 언어로 발음하는 수고를 할 필요도 거의 없어졌다. 이제 나의 AI로 어떤 나라 언어로 텍스트가 있더라도, 그것을 나의 목소리로 말할 수 있게 됐다. 이를 위해서 AI에 15초의 음성만 제공하면 된다.

오픈AI는 이러한 합성 음성 기술이 오용될 가능성을 우려하면서, 아직 출시하지 않고 있다고 밝히고 있다. 오픈AI는 다국적 언어 지원 음성 합성 기술로 많은 개인과 기업이 전 세계를 대상으로 자신의 콘텐츠를 보급할 수 있음을 강조한다. 짧은 오디오 샘플만 가지고 예전에 녹화된 비디오의 오디오를 사용해 혈관성 뇌종양으로 말을 잃은 어린 환자의 목소리를 복원하는 등 언어 장애가 있는 사람들을 도울 수 있는 기술임을 밝히고 있다.

현재 오픈AI와 보이스 엔진을 테스트 중인 파트너 기업들은 동의나 법적 권리 없이 다른 개인이나 조직을 사칭하는 것을 금지하는 사용 정책에 동의했다. 개별 사용자가 자신의 목소리를 만드는 것을 아직은 허용하지 않았다. 들려주는 음성이 AI로 생성된 음성임을 명확하게 공개해야 한다. 그리고 보이스 엔진에서 생성된 오디오의 출처를 추적하기 위한 워터마킹 등 안전 조치를 구현했다고 밝혔다. 합성 음성 기술을 광범위하게 배포하려면 원 화자가 누군가가 자신의 목소리를 서비스에 추가했는지 확인하는 음성 인증 방법이 있어야 한다. 저명한 인물과 너무 유사한 음성을 감지하고 생성하지 못하도록 하는 금지 음성 목록이 수반돼야 하고, 사회 전반에서 음성 기반 인증을 이제는 더 사용하지 않아야 한다고 권고하고 있다.

이경전 경희대 경영학과·빅데이터 응용학과·첨단기술 비즈니스 학과 교수