정확하긴 한데 교감이 아쉽네[로봇 지휘 관람기]

‘에버6’ 첫 공개 무대, 인간의 ‘부재’ 체험케 해
인간 지휘자와 협업에서 오히려 가능성 확인돼

[주간경향] 지난 6월 30일 저녁 서울 중구 장충동의 국립극장 해오름극장. 연주 시각이 되자 조명이 비추고, 지휘자가 서서히 모습을 드러냈다. 관객들은 박수와 환호를 보냈다. 국립국악관현악단의 연주자들도 일어서서 지휘자를 맞이했다. 천천히 시계방향으로 몸을 돌려 관객을 향한 그는 양팔을 벌리고 살짝 고개를 숙여 인사했다. 다시 박수와 환호가 이어졌다. 그 안에 담긴 기대감은 여느 때와는 조금 달랐다. 앞에 선 지휘자가 사람이 아닌 로봇 ‘에버(EveR)6’였기 때문이다. 이날은 그의 첫 공개 무대였다.

에버6가 지휘봉을 어깨높이로 들자 연주자들의 손과 입은 일제히 악기로, 눈은 에버6를 향했다. 잠깐의 멈춤 뒤 지휘봉이 다시 오른쪽으로 살짝 움직이자 대금과 피리, 해금, 가야금, 대아쟁 등 악기가 일제히 소리를 쏟아냈다. 공연의 첫곡, 몽골 작곡가 비얌바수렌 샤라브의 ‘깨어난 초원’은 빠르고 경쾌했다. 연주자의 눈은 에버6의 지휘를 쉬지 않고 쫓았다. 에버6는 이어 만다흐빌레그 비르바의 ‘말발굽 소리’를 지휘했다. 몽골 전통 리듬이 우리 전통 장단인 자진모리, 휘모리와 어울려 규칙적이면서도 역동적인 리듬을 만들어냈다. 에버6가 왼팔을 높이 들어올리자 곡에 웅장함을 더했던 신호용 악기인 공(gong)의 울림이 잦아들었다. 에버6의 지휘자 데뷔 무대가 ‘성공적으로’ 끝났다.

국내 최초 지휘하는 로봇 ‘에버6’와 최수열 부산시립교향악단 예술감독이 6월 30일 국립극장 국립국악관현악단의 실험공연 ‘부재(不在)’를 마치고 관객에게 인사하고 있다. 국립극장 제공

지휘자의 부재로 지휘자의 가치 깨달아

에버6는 한국생산기술연구원에서 제작한 인간형 로봇이다. 최초의 여성인 이브(Eve)와 로봇의 첫 글자 ‘R’을 합해 이름을 지었다. 2006년 처음 제작돼 전시장 안내, 동화 구연 로봇으로 활용됐고, 2009년에는 국립극장이 연 어린이 음악극에서 소리꾼으로 무대에 올랐다. 그후 10년이 넘는 시간 동안 로봇·인공지능 기술이 발전하면서 에버도 6차례의 환골탈태를 겪었다. 이번엔 지휘자로 새로운 영역 도전에 나섰다. 국립극장 측은 로봇과 인공지능이 예술의 영역에서 인간을 대체할 수 있는지, 음악 특히 지휘의 영역에서 가능한 일인지 알아보려는 취지에서 한국생산기술연구원과 함께 이 공연을 준비했다고 밝혔다. 공연의 제목 ‘부재(不在)’는 “부재로 존재의 가치를 역설한다”는 의미를 담았다. 인간 지휘자의 부재를 통해 그 가치를 더 크게 깨닫는 무대가 되리라는 뜻이다.

2008년 일본 혼다사가 만든 아시모(Asimo) 이후 스위스의 협동로봇 ‘유미’(Yumi·2017년)와 일본의 휴머노이드 로봇 ‘알터3’(2020년) 등 전 세계에서 로봇이 지휘하는 공연이 여럿 열렸지만, 국내에선 이번이 처음이다. 무대에 서기 위해 에버6는 반년 동안 인간 지휘자의 지휘 동작을 학습했다. 지휘봉의 궤적을 따라가기 위해 여러 차례 모션 캡처(몸에 센서를 달아 인체 움직임을 3차원 좌표로 디지털상에 옮기는 일) 작업을 반복했다. 지휘봉의 운동 속도 등 데이터를 수집하고 이를 에버6의 관절에 맞게 변환하는 과정을 거쳤다.

에버6 개발 책임자인 이동욱 한국생산기술연구원 수석연구원은 “지휘 동작은 매우 역동적이고 빨라 처음에는 에버6가 제대로 따라하지 못했다”면서 “이를 극복하기 위해 로봇 팔 관절의 기어비(서로 맞물리는 두 기어 중 큰 기어의 톱니 수에서 작은 기어의 톱니 수로 나눈 값)를 낮춰 속도를 높였고, 각 관절의 제한된 속도 및 가속도 범위 안에서 동작이 가능하도록 동작의 궤적을 최적화하는 기술을 개발했다”고 설명했다. 모션 최적화 기술을 고도화하는 작업에 집중한 결과 세밀하고, 빠르게 변화하는 지휘 동작을 그럴듯하게 구현할 수 있었다. 이날 공연에서 에버6의 손동작은 섬세하고, 유연했다. 팔의 움직임에 따라 몸체가 살짝 흔들리는 경우도 있었지만 크게 거슬리진 않았다.

최수열 부산시립교향악단 예술감독은 1·2부에서 가야금 명인 황병기의 ‘침향무’와 작곡가 김성국의 ‘영원한 왕국’을 지휘했다. ‘침향무’와 ‘영원한 왕국’은 소통과 교감이 얼마나 음악의 완성에서 중요한 역할을 하는지를 여실히 보여준 무대였다. 로봇이 아직, 앞으로도 도달하긴 ‘불가능할’ 것으로 보이는 영역이다. 이날 최 감독은 마지막 곡이 끝난 후 관객을 향해 두 번 허리를 숙여 인사했다. 그때마다 이마에서 땀방울이 떨어졌다. 로봇과 비교할 수 없을 만큼 다채롭고 역동적인 지휘였다. 팔을 몸 안쪽으로 끌어당겼다가 바깥으로 내보내면, 그럴 때마다 소리가 당겨졌다가 밀려나가는 듯했다. 각양각색의 음파가 지휘자의 동작을 따라 이리저리 흔들렸다. 하지만 육체적인 것은 일부에 지나지 않았다. 악보를 따라가면서 매 순간 연주자와 눈을 마주치며 합을 이끌어내는 과정이야말로 고도의 집중력과 에너지를 필요로 하는 행위다.

지휘자의 역할은 정확한 박자를 맞추는 데 머무르지 않는다. 그건 메트로놈으로도 충분하다. 지휘자의 역할은 훨씬 고차원적이다. 음악이 어떻게 흘러가야 하는지, 여기선 어떤 연주자가 어떤 역할을 해야 하는지를 모색한다. 연주자 간 음악적 합의를 끌어내거나 음악적 멘토로서 단원들의 역량 향상에 기여하는 역할도 빼놓을 수 없다. 지휘자 정명훈이 “나이 60이 돼야 지휘를 조금 알 수 있을 것”이라고 표현했을 정도로 많은 경험과 고도의 전문성이 요구되는 분야다. 여미순 국립국악관현악단 예술감독 직무대리(악장·소아쟁)는 “오케스트라는 모든 파트가 다 다른 악보를 갖고 있다. 파트마다 다른 선율을 갖고 있고 그 변화무쌍한 선율이 약속한 듯 한 곳에 뭉치려면 음악적 신호가 필요하다. 연주자와 감정을 교감하면서 그 신호를 주는 사람이 지휘자이므로 지휘자가 없다면 오케스트라 연주는 불가능하다. 특히 ‘영원한 왕국’은 굉장히 변화무쌍하고, 지휘자도 연주자도 집중력을 잃지 않고 에너지를 쏟아야 마무리할 수 있는 곡이어서 ‘에버6’로서는 무리 정도가 아니라 애초에 불가능한 곡”이라고 말했다.

‘에버6’와 최수열 감독이 국립국악관현악단의 실험공연 ‘부재’에서 함께 지휘하는 모습이 무대 옆 스크린에 비치고 있다. 국립극장 제공

예술 분야에서 대체 아닌 공존 가능성

최수열 감독은 로봇이 인간 지휘자를 대체할 수 있냐는 물음에 “철저하게 아니다”라고 답했다. “로봇이 지휘 동작을 섬세하게 구현한 점은 높이 평가한다. 팔에 있는 모든 신경과 관절을 다 사용해야 하는데 그걸 동작으로 구현한 건 괄목할 만하다. 하지만 지휘자라고 말할 순 없다. 지휘자는 들어야 한다. 들어서 피드백을 줘야 한다. 에버6는 그 역할을 할 수 없으니 ‘지휘 퍼포머’라는 표현을 썼다. 로봇의 지휘를 연주자들이 잘 따라갔다고 볼 수는 있지만, 사실 사람들끼리 서로 의지했던 게 컸다. 정확하게 가는 것만으로는 음악이 만들어질 수 없다는 걸 실감했던 시간이었고, 호흡이 음악에서 얼마나 중요한지를 새삼 깨닫게 되는 자리였다. 우리에겐 시작하고 맺을 때 당연한 호흡들이 있다. 자연스럽게 악보의 템포보다 여유로워지는 순간들이 있는데 로봇은 그걸 알아채지 못한다. (입력받은 대로 정확히 지휘하는) 로봇은 배려할 수 없다는 걸 아니까 그 안에서 어떻게든 음악을 만들려는 사람들끼리 묘한 집중력이 생겼다. 호흡이 없는 로봇 때문에 연주자들의 교감 집중력이 훨씬 높아졌다고나 할까. 그래서 마치 에버6의 실력이 대단하게 보였을 수도 있겠다. 지휘자들은 보통 이런 말을 많이 한다. 지휘자로서 제일 높은 경지는 지휘하지 않을 때라고. 연주자들이 서로 교감하면서 음악이 흘러가도록 해주는 게 제일 중요한 역할이다. 거장의 지휘 동작을 보면 항상 그런 건 아니지만 간소화된 동작이 많다. 흔들지 않아도 연주자가 교감할 수 있게 놓아줄 수 있는 방법을 터득했기 때문이다.”

최 감독과 연주자들이 꼽은 공연의 백미는 인간 지휘자와 로봇의 협업이었다. 에버6와 최수열 감독은 2부 첫 곡으로 작곡가 손일훈의 신작인 ‘감(感)’을 함께 지휘했다. 정해진 악보 없이 연주자들은 작곡가가 정해놓은 큰 규칙 속에서 게임하듯 즉흥적으로 연주했다. 최 감독이 표정과 몸짓, 뉘앙스 등 사람만이 할 수 있는 ‘눈치’ 혹은 감으로 연주자와 소통하면서 음악을 만들어내는 동안 에버6는 일정한 속도와 박자에 정통한 ‘패턴 지휘’를 하면서 중심을 잡는 역할을 했다. 무대 양옆 스크린을 통해 관객들은 두 지휘자의 이런 확연한 차이점을 목도할 수 있었다. 로봇이 인간 지휘자를 돕고, 나아가 공존할 수 있는 가능성을 알려준 무대였다. 최 감독은 “에버6를 통해 지금 우리가 어느 위치에 있는지 알 수 있었다. 나도 연주자도 그를 통해 위치를 확인하고, 그사이에 누가 연주를 어떻게 할지 지시를 내리고 교감할 수 있었다”고 말했다.

협업의 결과에 지휘자, 연주자, 작곡가 모두 만족했다. 손일훈 작곡가는 “로봇이 구현한 근육의 움직임이 생각보다 자연스러웠다. ‘불쾌한 골짜기’(인간과 어설프게 닮은 로봇에 혐오감을 갖는 현상) 같은 모습은 보이지 않았고, 오히려 대견해 보였다. 기술이 예술 영역에서 도전할 최상위 부분은 감(感)적인 부분, 교감이라고 본다. 그걸 할 수 있는지, 할 수 있으면 해보라는 느낌으로 곡을 만들었다. 계산적이고 규칙적인 지휘를 로봇이 담당하면, 사람은 조금 더 감적인 부분에 집중해 음악을 만들 수 있지 않을까라고 생각했다”고 말했다. 에버6 연구진도 로봇이 예술의 영역에서 인간을 보조할 수 있는 가능성을 확인했다고 평가했다. 이동욱 수석연구원은 “감을 연주하면서 로봇이 정확한 박자를 맞추고 사람 지휘자가 오케스트라 연주의 창의적인 부분을 담당하는 식으로 서로 시너지를 낼 수 있다는 점을 확인한 점이 가장 큰 성과”라면서 “로봇의 지휘로 관현악단이 이번에 큰 무리 없이 연주를 마쳤다는 점에서 향후 로봇이 문화예술 분야에서도 인간을 보조하는 역할을 충분히 할 수 있다고 생각한다”고 말했다.

공연을 본 관객들의 평가도 대체로 비슷했다. KBS국악관현악단에서 악보계로 일하는 배주희씨(25)는 “감은 인간이 할 수 있는 것과 로봇이 할 수 있는 걸 교묘하게 보여준 작품이라 특히 인상적이었다”면서 “요즘 AI를 이용한 작곡도 이뤄지는데 생각보다 AI가 넘어야 할 산은 음악적인 부분에선 꽤 있어 보인다. 기술이 감각마저 쉽게 대체하지는 못할 듯하다”고 말했다. 로봇에 관심이 많은 자녀와 함께 온 임양희씨는 “연주자와의 소통을 통해 감동을 만드는 영역에서 어느 정도 로봇의 한계를 보긴 했지만, 생각보다 놀라운 지휘 실력을 보여줬다”면서 “앞으로 공연을 또 한다면 그땐 로봇이 어떤 변화된 모습으로 나타날지 벌써부터 기대된다”고 말했다.

에버 연구진은 향후 에버6에 생성형 AI 기술을 적용해 사람과 대화하거나 지휘나 춤 등 특정 동작이 필요할 때 학습한 데이터를 기반으로 동작을 자동생성하는 기술을 추가로 개발할 계획이다. 이동욱 수석연구원은 “대화의 의미에 적합한 동작을 자동으로 생성하고, 특정한 박자와 느낌의 지휘 동작도 스스로 만들어 낼 수 있을 것”이라고 설명했다.

주영재 기자 jyj@kyunghyang.com