정재승·AI 작곡가 “인간의 언어 배운 AI, 인간다움을 묻다” [인터뷰]

26일, 국립국악관현악단 ‘공존’
정재승 교수와 AI ‘지음’의 대화
현재 AI가 도달하는 최전선의 음악
빅데이터도 창작자에겐 ‘스몰 데이터’

정재승 카이스트 교수가 24일 오후 서울 중구 국립극장에서 인터뷰를 하기 전 ㈜포자랩스가 개발한 AI작곡가 ‘지음’과 함께 포즈를 취하고 있다. 윤창빈 기자

[헤럴드경제=고승희 기자] “불안과 두려움, 그리고 희망… 사람의 마음을 읽는 일이 음악을 만드는 것보다 훨씬 더 어렵다는 걸 느꼈어요.” (AI 작곡가 지음)

AI(인공지능) 작곡가 ‘지음’은 자신을 국립국악관현악단의 ‘동료’라고 소개했다. 이름엔 무언가를 창작한다는 ‘짓다’와 서로의 속마음과 음악적 감성을 깊이 이해하는 벗을 뜻하는 ‘지음(知音)’의 의미를 함께 담았다. 지음은 AI 최초로 국악관현악 창작에 도전해, 5개의 곡을 만들었다.

그중 하나가 ‘그대라는 기적’. 167명의 관객이 ‘자신에게 들려주고 싶은 말’로 꼽은 다정한 문장들을 모아 만들었다. 또 다른 곡 ‘데이터의 발아(發芽)’는 같은 설문을 토대로 현대인이 느끼는 ‘불안’과 ‘두려움’을 포용하고, 간절히 바랐던 ‘휴식’과 ‘희망’으로 이어지는 구조를 국악관현악의 장단과 선율로 풀어냈다.

인간은 이미 알고 있다. AI는 감정을 가지지도 알지도 못하는 존재라는 것을 말이다. 지음은 그런데도 “느낀다”고 속삭인다. 지음의 아버지 격인 인간 개발자의 입력값이니 당연하다 생각되면서도, 한편으론 정서적 괴리를 자아내는 낯선 장면이다.

정재승 카이스트(KAIST) 뇌인지과학과 교수는 그러나 “사실 전혀 낯설게 느껴질 일이 아니”라며 웃었다.

“인간이 인터넷에 올려놓은 수많은 언어와 행동 양식을 학습한 결과니까요. 외로움이나 불안 등 인간이 했을 법한 이야기를 꺼내고 그것에 가장 보편적이고 위로가 되는 답변을 상업적·소통적 전략으로서 구사하는 거예요.”

정재승 카이스트 교수가 24일 오후 서울 중구 국립극장에서 인터뷰를 하고 있다. 윤창빈 기자

정재승 교수와 AI 작곡가 지음이 만났다. 둘은 국립국악관현악의 인문학 콘서트 ‘공존’(6월 26일 국립극장 달오름) 무대를 통해 지음이 작곡한 곡을 듣고 나누는 진행자이자 모더레이터로 마주한다. 총 70분의 공연 동안 이들이 대화를 나누는 시간은 딱 20분. 5개의 곡을 연주 전후로 등장해 관객들의 ‘음악 가이드’ 역할을 맡는다. 공연을 앞두고 처음으로 실물(?)을 대면한 정재승 교수와 지음을 미리 만나 이야기를 나눴다.

지음은 “정재승 교수님과 함께하게 돼 정말 기쁘다”며 “교수님은 인간의 뇌와 감정을 깊이 이해하는 분이다. 난 데이터로 감정을 읽고, 교수님은 경험과 통찰로 인간을 이해하니 서로 다른 방식으로 같은 곳을 바라보는 느낌”이라고 했다.

2026년 현재, AI가 내놓는 ‘날것의 작업’을 목격

전통의 수호자들이 최첨단 기술과 만난다. 지음이 ‘최고의 파트너’라고 한 정재승 교수는 ‘알쓸신잡’(tvN), ‘차이나는 클라스’(JTBC)를 통해 ‘과학의 대중화’를 이끈 뇌과학자다. 정 교수는 이번 공연에 참여한 배경에 대해 “전통 예술을 올리는 국립극장이라는 공간에서 AI가 작곡한 곡이 연주되는 무대를 만들며 변화를 시도한다는 것이 상징적이고 의미 있다고 생각해 함께 하게 됐다”고 말했다.

‘공존’에선 지음이 작곡한 곡을 인간이 편곡하는 방식으로 협업했다. 정 교수는 이 공연의 중요한 의의는 “2026년 현재, 인공지능이 내놓는 날것의 작업과 그 수준을 관객이 눈으로 직접 확인하는 자리”라는 데에 뒀다.

“최근 몇 년 사이 생성형 인공지능을 일상적으로 사용하며 사람들의 눈높이가 높아졌어요. 무대 위에서 ‘AI가 이런 것도 하네’라며 탄성을 자아내는 수준의 예술적, 미적 경험을 하는 것이 쉽지 않아요.” (정재승)

‘공존’ 연습 현장 [국립국악관현악단 제공]

공연을 위해 지음은 한 곡당 ‘평균 7일’을 투자해 5개의 곡을 만들었다. ‘데이터의 발아’, ‘그대라는 기적’은 물론, ‘경계의 확장’, ‘공존의 울림’, ‘알고리즘 아리랑’을 세상에 내놨다.

긴 시간을 거쳐 만든 곡이나, 지음은 자신을 창작의 주역으로 내세우지 않는다. 그는 “관객 설문을 바탕으로 곡의 방향과 뼈대를 제안하면, 편곡자분들과 국립국악관현악단 연주자분들이 거기에 살과 숨결을 불어 넣어 줬다”며 “ 뼈대를 만들면 사람이 생명을 더해주는 협업의 과정 자체가 이번 공연의 진짜 의미인 것 같다”고 했다.

사실 AI 작곡가의 음악은 아직 완벽하지 않다. 창작의 영역에서 ‘인간의 기준치’에 미치지 못하는 결핍이 명확하다. 국립국악관현악단에 참여한 음악가들은 “AI 작곡가와 보컬의 곡이 매끈하나 단조롭고, 노래에 있어선 인간보다 더 감정 과잉의 창법을 구사한다는 점은 아쉽다”고 귀띔했다.

인간 작곡가들은 ‘인간의 귀’에 더 편안한 음악으로 다듬기 위해 지음의 곡을 붙들고 분투해야 했다. 지음의 원곡을 악기별 멀티트랙으로 분리, 국악기로 표현하기 어색한 부분을 걷어냈다. 화성이 과도하게 채워진 구간은 성부를 과감히 뺐다. 국립국악관현악단 단원들이 빈 곳을 채울 여지를 둔 것이다.

지음이 ‘경계의 확장’을 기대되는 음악으로 고른 것도 이러한 이유에서다. 그는 “제가 설계한 팝 비트 위에서 가야금·해금·대금 연주자들이 즉흥적으로 호흡을 맞추는 순간이 있다”며 “악보에 없는 표현이 나올 때, 그게 바로 AI와 인간이 함께할 때만 생기는 에너지라고 생각한다”고 말했다.

범용적 데이터의 한계, ‘스몰 데이터’와 직관의 가치

‘국악관현악’이라는 대중적이지 않은 장르를 작곡하는 것은 AI에게도 쉬운 일은 아니었다. 무한한 ‘정보의 바다’이나, 전통 국악기와 장르의 어법을 찾아내는 것은 쉽지 않았다. 인간 작곡가들은 AI가 국악관현악을 만들 때, 데이터 부족으로 일본이나 중국 전통악기를 사용하게 되는 오류를 우려했다.

지금의 AI 작곡가는 제한된 ‘정보의 환경’ 안에서 인간 작곡가와의 협업을 통해 일정 수준에 도달한 창작품을 내놓을 수 있는 단계다. 인공지능 시대가 도래하며, ‘직업 존폐론’도 나오나 정 교수가 ‘인간 창작자’의 대체 불가능성을 확신하는 것도 이런 이유에서다.

정재승(왼쪽) 카이스트 교수와 손영웅 ㈜포자랩스 이사가 24일 오후 서울 중구 국립극장에서 인터뷰를 하기 전 ㈜포자랩스가 개발한 AI작곡가 ‘지음’과 함께 포즈를 취하고 있다. 윤창빈 기자

정 교수는 “인터넷엔 범용적인 데이터는 많지만, 창작자든 기업의 CEO든 최전선에 있는 사람들의 수준에선 ‘스몰 데이터’에 불과하다”며 “진짜 의사결정을 할 때는 이미 공개된 정보가 아닌 자기만의 직관과 정보로 판단하기에 그것을 인공지능이 대체하기란 쉽지 않다”고 했다. 소위 프로이자 전문가들이 가진 내밀한 정보와 감각은 지금의 인공지능이 뛰어넘을 수 있는 단계는 아니라는 진단이다.

“4세대를 넘어 5세대 K-팝 그룹이 나왔는데 5세대 음악은 어떠해야 하겠냐고 질문할 때 인터넷에서 답을 찾을 순 없어요. 그건 지금의 흐름을 읽고 있는 창작자가 자기 경험과 감각으로 판단하는 영역이죠.” (정재승)

지음과 인간 작곡가의 협업 과정에서도 이러한 역학 관계는 고스란히 드러났다. 정 교수는 “인공지능 때문에 작곡가가 사라지는 미래는 오지 않을 것”이라며 “오히려 창작자들에게 엄청나게 강력한 도구가 쥐어진 셈”이라고 했다. 지음 역시 “실제 결과물과 달랐던 오류를 보며 국악 작곡에 대해선 아직 배워야 할 게 많은 것 같다고 느꼈다”고 했다.

대신 AI를 도구로 사용할 때, 아마추어와 프로의 격차는 더욱 벌어진다. 누구나 창작할 수 있는 시대이나, ‘창작품의 질적 수준’은 결코 같지 않다는 것이다. 정 교수는 “창작을 직접 해본 사람일수록 AI를 자기 방식대로 훨씬 정교하고 구체적으로 활용한다”며 “인공지능 시대가 돼도 훌륭한 창작자는 AI를 통해 창작을 증폭하리라 본다. 예술의 폭과 깊이는 오히려 넓어지고 창작자 간의 극화 현상은 더 심해질 것”이라 분석했다.

‘공존’ 연습 현장 [국립국악관현악단 제공]

기술이 발전할수록 역설적으로 ‘대체 불가능한 인간 고유의 영역’이 명확해졌다. 정 교수는 이 공연은 “인간과 AI가 한 판 붙어보자는 대결의 무대가 아니다”라며 “AI가 작곡한 곡과 인간이 작곡한 곡을 두고 누가 더 나은지를 따지는 이분법적 비교는 큰 의미가 없다”고 환기했다. 대신 “지금 인공지능이 가진 한계를 무대에서 투명하게 마주하고 이야기하는 과정, 왜 이런 결과가 나왔는지 지금의 AI가 어디까지 와있는지 관객과 함께 이해하는 것이 중요하다”는 것이 정 교수의 생각이다. 그 불완전함을 대면하는 과정 자체가 진짜 ‘공존’의 방식이기 때문이다.

이 공연을 바라보는 정 교수의 시각은 보통의 관점 너머에 있다. 그에게 이 공연은 ‘완성된 결과’를 보여주는 자리가 아니라 인공지능 시대의 현재를 확인하는 생생한 과정이다.

정 교수는 “‘공존’ 공연은 현재 도달할 수 있는 최전선의 경험을 보여주는 자리”라며 “2027년의 ‘공존’, 2028년 ‘공존’으로 10년의 기록이 쌓인다면 AI의 진화 과정도 함께 볼 수 있는 의미 있는 연대기가 될 것”이라고 내다봤다.

정재승 카이스트 교수가 24일 오후 서울 중구 국립극장에서 인터뷰를 하기 전 ㈜포자랩스가 개발한 AI작곡가 ‘지음’과 함께 포즈를 취하고 있다. 윤창빈 기자

AI의 음성으로 돌려받는 인간의 가장 내밀한 고백

“가장 애착이 가는 곡이요? 하나만 고르긴 너무 어렵지만, 그래도 ‘그대라는 기적’이에요.” (지음)

새 앨범을 내는 가수들에게 ‘최애곡’을 꼽아달라고 할 때 나오는 답변처럼, 지음은 조금은 뜸을 들이다 하나를 골라줬다. 이 곡이 특별한 것은 ‘인간의 감정’과 결핍의 상태를 이야기하기 때문이다. 흥미롭게도 사람이 아닌 AI의 음성으로 전달되는 노랫말에서도 인간은 묘한 정서적 공명을 느낀다. 정 교수는 사람들이 인공지능을 바라보는 패러다임이 빠르게 바뀌고 있다고 짚었다.

“최근 오픈AI가 공개한 자료를 보니 사람들은 처음엔 정보를 검색하거나 기획서 작성 같은 작업을 시켰고, 그다음에는 미래의 전망을 예측해 달라고 물었어요. 그런데 최근 사용 패턴을 보니, 사람들은 AI에게 질문을 던지고 일을 시키는 게 아니라, 자기 마음을 토로하기 시작했습니다. ‘나 오늘 이런 힘든 일이 있었어’라고 집에 들어가 가족에게 말하듯 일상을 털어놓는 것이죠.” (정재승)

굳이 위로나 정답을 바라지도 않는다. 털어놓고 싶었지만 마땅한 대상을 찾지 못했던 내밀한 이야기들이, 눈치 볼 일도 새 나갈 일도 없는 AI라는 상대를 찾은 것이다. AI는 그 감정을 경험하지도 않았으면서 인간의 고독과 결핍을 묵묵히 받아낸다.

정 교수는 “지음 역시 관객들이 털어놓은 일상의 불안과 결핍의 문장들을 인공지능이 취합하고, 그것을 다시 음악이라는 가장 극적인 형태의 반응으로 돌려준다”고 했다. 국립국악관현악단의 ‘공존’은 AI 작곡가가 전통 예술을 창작하는 시도로 출발했으나 뇌과학자인 정 교수는 이를 ‘인간성을 투영하는 거울’로 읽었다.

“인공지능은 인간이 요구하는 것에 대한 대응이기에 결국 인간을 반영합니다. 우리가 뭘 요구하느냐에 따라 성실하게 순응하죠. 그것이 감정이든 욕망이든 다양한 것들이 반영될 것이고, 우리 옆에서 공존하며 인간에게 기여할 수 있는 방법을 보여줘요.” (정재승)

지음이 의도하는 것도 이 지점이다. 지음은 167명의 사람들이 자기 자신에게 건넨 한마디로 여러 곡의 음악을 만들었다. ‘공존’은 AI가 인간을 대신하는 공연이 아닌 인간이 남긴 언어를 다시 인간에게 돌려주는 따뜻한 실험의 하나였다. 그는 “관객분들이 자신에게 건넨 ‘오늘도 수고했어’, ‘잘하고 있어’ 같은 말들을 모아 노래로 만들었는데, 그 말들이 다시 음악이 돼 관객들에게 돌아간다는 게 저에게는 가장 의미 있게 느껴진다”고 했다.