[쫌아는기자들] AI 작곡가, 멜론 차트에서 볼 수 있을까

@주3회 발행하는 유료 뉴스레터 [스타트업]입니다. 무료 가입은 https://page.stibee.com/subscriptions/143087 입니다. 무료 구독자에겐 본문의 절반을, 유료 구독자에겐 전문을 공개합니다. 유료 구독은 https://page.stibee.com/subscriptions/158656 입니다. 감사합니다.

연말을 맞아 오늘 레터는 노래를 들으면서 시작해볼까요. 연말 느낌 잔뜩 나는 감미로운 재즈 음악입니다. 노래의 유튜브에 접속하면 아티스트는 ‘비오디오’라고 되어 있습니다. 신인 작곡가냐고요? 아뇨. 스타트업 포자랩스가 만든 AI 작곡가입니다. 제법이죠?

GPT와 DALL·E 등 챗봇, 그림 AI가 화제가 되고 있는 가운데 AI는 음악에도 침투하고 있습니다. 악기를 연주하는 것이 아니라, 아예 곡을 쓰는 것인데요. AI 작곡가의 성능이 궁금했던 2호는 포자랩스에게 이메일로 원하는 곡의 컨셉을 짧게 전달하고, 얼마나 빨리 작업이 완료되는 지 확인해보고 싶었습니다. 그리고 인간이 작곡을 할까봐 작업 과정을 녹화해서 보내달라고 했고요. SF영화를 좋아하는 2호는 ‘SF 영화에 나올 것 같은, 웅장한 오케스트라 영화 OST를 만들어줘’라고 요청하자마자 약 10분만에 아래와 같은 음악이 돌아왔습니다. 작업 과정 영상을 보더라도 노트북 한대에서 몇번의 클릭과 명령어 입력이 전부였고요.

AI 작곡가는 어떻게 노래를 만든 것일까요. 화성학을 배운 것인지, 인간의 여러 작곡 패턴을 단순 모사를 한 것일지 궁금해졌습니다. 그리고 이렇게 만든 노래는 누가 돈을 내고 듣거나 사는 것일지도요. 포자랩스의 창업가 허원길(29) 대표를 만났습니다.

포자랩스의 허원길 대표. /포자랩스 제공

◇밴드하던 공대생, 5년전 AI 작곡 대회 나갔더니

-포크레인이라는 밴드에서 시작됐다는데

“연세대 공대 다녔고, 전공도 컴퓨터공학, 인공지능이었어요. 공대에서 밴드 활동도 했어요. 밴드 이름은 공대에 걸맞게 ‘포크레인’이었어요. 키보드를 맡았고요. 제가 음악을 좋아했거든요. 피아노를 어렸을 때부터 쳤고, 지금도 취미로 치고 있고요. 인공지능으로 새로운 사업을 계속 시도해왔었어요. 처음에는 신약, 암진단 같은 핫하고 유명한 분야에서 사업을 준비했었거든요. 그런데 굉장히 딱딱했어요. 인공지능 자체도 어렵고, 낯선 분야이니까요. 만드는 사람도 이렇게 느낄 정도면 받아들이는 사람들을 어떨까. 그래서 사람들이 쉽게 접할 수 있는 분야, 일상 속의 인공지능이 있을만한 분야를 생각했어요. 그러다 2017년쯤, 한국콘텐츠진흥원에서 음악 인공지능 공모전이 있었어요. 거기 나갔죠.

-대회에서 성과가 있었나보군요. 2017년에 AI 작곡이라, 이른 시점인데요.

”사실 지금처럼 AI가 완전한 작곡을 할 수 있는 수준은 아니었어요. 곡에서는 핵심 멜로디나 리듬처럼 전체를 결정하는 중요 포인트들이 있는데, 이걸 소스라고 해요. 소스만 AI가 만들고 전체적인 걸 조율하고 편곡하는 작업들은 전부 사람이 했죠. 따로 작곡가를 섭외했었고요. 당시 작사도 AI가 했어요. 사실 작사에서 더 좋은 평가를 받았고, 우승을 했죠. 그때 자신감을 얻었고, 뭔가 될 것 같았어요 비즈니스로 발전시킬 수 있을 것이라는 직감 같은 것이 있었죠. 그렇게 친구 둘을 섭외해 3명이 됐고 2018년 창업했습니다.

-2021년에 시제품이 나왔던데, 그렇게 되면 데스밸리가 3년?

”네. 매출 없이 시드 투자, 팁스로 거의 3년을 버텼어요. 길다면 길었는데, 전부 AI고도화와 제품을 만드는 데 시간을 쏟았죠. 공동창업자 둘도 결국 떠났어요. 전 좀 견딜만했어요. 음악을 좋아했고, AI가 만드는 음악을 지켜보는 재미가 있었으니까요. 두 친구는 더 힘들었을 것 같아요. 7~8명 팀으로 계속 버텼죠. 견딜 수 있었던 이유는 우리가 음악을 좋아하는 개발자들이었다는 것이죠. 2021년에 ‘그래도 들을만한 음악’을 AI가 만들기 시작했고, 그때 투자를 받았죠. 그렇다고 해서 지금 매출이 엄청 나오고 그런 것은 아닙니다.

-데스밸리가 그토록 오래 걸린 이유가?

”음악과 AI를 접목하는 분야에 대한 연구가 많이 진행되지 않았었으니까요. 데이터에 대한 정의 자체가 부족했었죠. AI를 학습시키기 위해서는 라벨링이라는 과정이 필요해요. (예컨대 자율주행 AI에게는 카메라를 통해 들어온 화면에서 무엇이 사람, 차, 표지판인지를 알려주고 이걸 학습시켜야 합니다. 화면 속 사람, 차, 표지판을 구분해 라벨을 달아 AI를 가르치는 작업을 라벨링이라 합니다.)문제는 라벨링이 된 데이터가 거의 없을뿐더러 라벨링이 된 데이터가 있더라도 그 데이터로 AI를 가르치면 이상한 음악을 작곡했어요. 예컨대 AI한테 행복한 음악과 슬픈 음악을 동시에 학습시키면 AI에게 슬픈 음악을 만들어달라고 했는데 행복한 음악이 나오게 된다든지요. 음악의 문법을 AI가 몰랐던 것이죠. 우리가 행복한 음악, 신나는 음악이라고 하면 그 음악에 대한 정의가 필요해요. AI를 학습시키려면 규칙이 필요한데 인간에게도 규칙이 모호한 것을 가르치면 AI에게도 어려운 것이죠. 그래서 음악은 다른 분야보다 주관적이고, 예술에 가까운 영역이니까요. 음계를 숫자로 인식하는 AI에게 알려주려면, 우선 AI가 알아들을 수 있도록 음악의 규칙을 정리해야 해요. 그 작업도 오래 걸렸고요. 무엇보다 딥러닝의 복잡한 신경망에서 나오는 결과물에 대해서 인간은 왜 이런 결과가 나왔는지 해석할 수 없어요. GPT3만 하더라도 내가 예상치 못한 답변이 나오니까요. AI가 블랙박스 같은 존재인 것이죠. 블랙박스 같은 존재를 통제할 수 있도록 하는 기간이 오래 걸렸어요.

-음악에도 화성학이라는 규칙이 있는데요. 이 규칙을 AI가 받아들이기에 힘들다?

”작곡을 하는 AI는 거의 신생아 수준이었거든요. 구글의 알파고는 적어도 AI에게 바둑을 이기는 법, 바둑의 룰을 알려주고 기보를 학습시켰어요. AI는 그것조차 없었던 상태였죠. 음표의 도를 숫자 1, 레를 숫자 2 이런 식으로 정의를 했을 때 우리가 느끼는 행복한 음악이 어떤 숫자의 조합인지, 슬픈 음악이 어떤 숫자의 조합인지부터 정의를 내려줬어요. 현재 국내도 있고, 해외에도 있지만 AI 작곡 프로그램을 만든 스타트업들은 전부 비슷한 상황에서 AI를 처음부터 가르쳤던 셈이죠. 가르치는 학습법도 조금씩 차이가 있습니다. 화성학을 알고리즘으로 만들어 엄격한 규칙으로 가르치는 방식도 있고, 포자랩스는 자연어처리 방식으로 AI를 학습시키고요. 음악은 음계로 표현하는 언어체계라고 접근해서 가르쳤어요.”

-음악도 언어다?

”하나의 상징 체계니까요. 우리가 말하는 언어에는 흐름이있어요. ‘저기요, 안녕하세요. 저는 누구입니다.’ 앞뒤의 문맥, 앞의 문장을 들으면 뒤에 무슨 문장이 나올 지 예상이 되잖아요. 음악도 앞의 마디에 어떤 음계와 리듬이 이어졌는지에 따라 뒤에도 반영이 되어요. 완벽하게 자연어모델과 같지는 않고요, 음악에 맞춰서 약간의 변주를 했고, 그걸 바탕으로 AI는 훈련하고 학습해요.

지난 16일 제주도로 워크숍을 떠난 포자랩스의 단체사진. 매출 0원 36개월을 견뎠던 포자랩스의 팀원들은 이 정도로 불어났다. 단체사진을 달라했더니, PR담당자 이준환님은 "여태 한번도 단체사진을 못 찍었었다"며 "이번엔 쫌아는기자들을 핑계로 찍겠다"며 사진을 보내왔다. /포자랩스 제공

◇자연어처리 방식과 유사하게 음악 학습, “음악도 언어”

-AI를 학습시키는 데이터, 이 데이터의 출처가 논쟁이 됩니다. 일반 기성곡을 가져오면 분명 저작권 논쟁이 일어날 수도 있을텐데요.

“회사 내에 작곡가들이 있고, 외부 작곡가들에게도 부탁해 70만개에 달하는 샘플(곡의 뼈대)를 직접 만들어 AI에게 집어넣었어요. 저작권 이슈도 있고, 입맛에 맞는 데이터를 만들기에도 좋았고요. AI에게 실제 존재하는 기성곡을 가르치면, 나오는 데이터도 이미 나와있는 곡과 상당히 흡사할 거예요. 그러면 표절 논쟁에서 또 자유로울 수가 없고요. 최대한 문제를 피해가면서도, AI만의 곡을 만들도록 하기 위해서 직접 창작한 노래를 학습시켰죠.”

-작곡은 작곡가 마음대로? 그러면 AI는 여러 작곡가들의 개성이 섞인 것인가?

”구체적으로 주문을 합니다. 로맨틱 왈츠라는 장르가 있다면, 멜로디는 몇 옥타브를 기준으로 구성이 되고, 악기는 어떤 악기가 쓰여야 하고, 곡의 속도 등 해당 장르의 가장 대표적인 특징과 규칙을 정의 내린 다음에 작곡가분들에게 의뢰를 해요. 이 규칙 안에서 작곡을 해달라고 합니다.”

-체스, 바둑, 스타크래프, 인공지능 번역도 어느 정도의 객관적인 기준이 있잖아요? 실력이나 품질이나 승패라든가. 그런데 음악은 예술의 영역에 가까워지면, 음악성과 예술적 개성의 스펙트럼이 너무 넓은걸요.

“네. 그래서 포자랩스가 초점을 맞추는 분야는 대중성입니다. 예를 들어 100명의 리스너가 있으면 90명이 만족할, 대부분의 유저가 좋아하는 음악을 만들어요. 소수의 취향을 타깃팅하지는 않습니다. 대중적으로 유명한 곡들을 보면, 누가 들어도 좋아할만한 노래잖아요. 무난하고, 보편적인 노래. 톡톡 튀는 노래를 AI가 만들 필요는 없을 것 같아요.

-본질적인 질문, 왜 AI가 음악을 만들어야 하나요

”음악이 필요한 콘텐츠 시장의 페인포인트 때문입니다. 메인비즈니스 중에 하나가 배경음악을 납품하고 있어요. B2B로 주문 단위가 몇백곡에 달하기도 하죠. 왜 그러느냐, 인간 작곡가가 수많은 배경음악을 작곡하기엔 시간이 너무 오래 걸려요. 예를 들어 프리랜서 작곡가에게 곡을 의뢰할 때, 10곡~20곡을 한 사람이 작곡을 할 수도 없어요. 그러면 또 10~20명 작곡가를 섭외하고, 이 많은 사람들과 커뮤니케이션을 하는 작업들이 기업 입장에서는 모두 비용인 것이죠. 직접적으로 곡의 가격도 AI가 작곡한 곡이 더 싸고요.”

◇영상콘텐츠, OTT 기업들이 AI작곡가에 관심을 보이는 이유

-기업들이 그렇게 새로운 곡이 많이 필요하나요? 기성곡을 배경음악으로 쓰면 되는데

“그건 유명한 드라마나 영화 등에 국한되는 이야기입니다. 우리가 지나치는 많은 콘텐츠에 음악이 쓰여요. 유뷰트 크리에이터의 경우에도 영상에 음악을 주로 쓰는데요, 기성곡을 쓰면 저작권료 부담이 상당히 커집니다. 자세히 관찰하면 유튜브 크리에이터들이 배경음악으로 기성곡을 절대 사용하지 않고, 혹시 영상 촬영 중에 나온다하더라도 ‘저작권 이슈로 편집합니다’하면서 음악만 들어내는 경우를 종종 보셨을 거예요. 음악 저작권은 굉장히 복잡해서 유통사마다 권리관계가 다르고, 특히 지상파 TV나 방송채널에 음악이 나왔을 때 많은 비용을 부과하고 있어요. 물론 기성곡을 영상콘텐츠에 사용하는 비용이 방송사 입장에서는 부담할만해요. 그런데 1인 영상 크리에이터한테는 다른 이야기입니다. 생각보다 큰 비용이고, 음원 유통사 입장에서도 음원 가격을 유튜브에는 싸게 받고 TV에는 비싸게 받을 수도 없어요. 유튜브 알고리즘이 기가 막히게 영상에 쓰인 기성곡을 찾아내 메일이 옵니다. 당신의 영상 수익에서 음원 유통사에게 저작권료를 지급해야한다고요. 이 금액은 곡마다 다르지만, 방송에 마이클 잭슨 노래를 쓴다면? 잠깐 써도 정말 큰 돈을 내야 합니다. 소비하는 영상 콘텐츠는 정말 많아졌고, 다양해졌는데 여기에 들어갈 음악이 제한적이고 굉장히 비싸다는 것이죠. 이걸 AI가 대체합니다. 영상 콘텐츠 외에도 쓰임도 있어요. 예컨대 명상앱 같은 경우에도 음악이 들어갑니다. 이런 앱에 기성 클래식을 사용하기도 상당히 부담됩니다. 곡 수도 몇백곡씩 필요하거든요. 그래서 AI가 영상의 주제, 분위기, 맥락에 맞춰서 다양한 수십~수백곡을 만들어 납품하고, 영상제작사가 그때그때 사용하는 구조죠.”

오늘의 무료 콘텐츠는 여기까지이고, 전문은 유료 구독자에게 공개합니다. 유료 구독자는 2021년 3월 이후에 발행한 모든 콘텐츠를 볼 수 있습니다. 아래는 전문에 나온, 부제와 질문, 사진, 그래픽입니다. 유료 가입 https://page.stibee.com/subscriptions/158656 입니다. 감사합니다.

-플랫폼마다 저작권료가 다르다는 이야기도 들었습니다.

-그렇다 하더라도 전국민이 유튜브 채널을 할 것도 아니고, 어느정도 다양한 AI작곡 노래가 만들어지면 수요가 확 꺾일 것 같은데요.

◇“사진기가 나와도 여전히 그림을 그리듯, 인간의 음악 창조는 계속될 것”

-’비오디오’라는 AI 음악 구독 서비스가 있다고요. 개인 사용자가 AI 작곡가를 아직 써볼 수는 없는 것인가요

-노래 한 곡의 가격, 그리고 한 달에 몇 곡의 AI 작곡 노래를 만듭니까

-블라인드 테스트 해보셨나요? 완성도에 대해서 어떻게 생각하십니까.

-작곡가 입장에서는 결국 미래 AI가 자리를 빼앗긴다?

-그렇다 하더라도 작곡가의 수 자체는 줄지 않을까요. 멜론 차트에도 AI 작곡가가?

-공대 졸업 이후 바로 창업했습니다.

-사무실에서 안에서 노래가 끊이질 않겠습니다.

-AI작곡가 앨범 이런 것 상상 안 보셨나요.

회의 중인 포자랩스 팀원들. 실제 방문했던 포자랩스 사무실은 곳곳에 키보드와 악기가 숨겨져 있어 스타트업과 음악 공장 그 어디 사이쯤 있는 분위기다. /포자랩스 제공