핑크 플로이드 노래, 뇌파로 복원해냈다

UC버클리, 환자에 음악 들려주고 뇌파 분석
음율, 박자는 물론 일부 가사까지 재현
”곧 뇌파로 사람 생각 읽는 일 가능할 것”

미국 버클리 캘리포니아대 연구진이 음악을 듣는 사람의 뇌파를 바탕으로 음악을 재구성하는 데 성공했다. 뇌 활동을 바탕으로 인간과 기계를 잇는 뇌-기계 인터페이스 기술과 뇌질환 환자 재활에 활용될 수 있을 전망이다./픽사베이

‘We don’t need no education(우리는 교육 같은 건 필요 없어), We don’t need no thought control(우리는 생각의 통제도 바라지 않아)’

영국 록밴드 핑크 플로이드가 1979년 발표한 대표곡 ‘어나더 브릭 인 더 월(Another Brick in the Wall)’의 음율이 대학 연구실에 흘렀다. 이 노래는 당시 획일화된 교육 제도를 신랄하게 비판해 세계적인 주목을 받았다. 녹음된 음악을 튼 것이 아니었다. 노래를 듣고 사람의 뇌에서 나온 뇌파를 토대로 다시 복원한 노래였다.

로버트 나이트(Robert Knight) 미국 버클리 캘리포니아대(UC버클리) 교수와 루도비치 벨리어(Ludovic Bellier) 박사 연구진은 15일(현지 시각) 국제 학술지 ‘플로스 바이올로지’에 “음악을 듣는 간질 환자의 뇌파를 해석해 음악을 다시 구성하는 데 성공했다”고 밝혔다.

이번 연구는 사람과 기계 장치를 연결하는 뇌-기계 인터페이스(BMI) 기술을 이용했다. 이 기술을 활용하면 뇌 활동 신호와 기계 장치를 직접 연결해 생각만으로 장치를 다룰 수 있다. 뇌 질환으로 인해 신체 활동이 어렵거나 언어 능력이 사라진 환자의 재활과 일상 생활을 도울 수 있는 기술로 주목을 받고 있다. 벨리어 박사는 “뇌-기계 인터페이스에 인공지능(AI) 기술을 추가해 뇌 활동을 바탕으로 음악을 재구성하는 기술을 개발했다”고 말했다.

UC버클리 연구진은 치료 목적으로 뇌에 전극을 이식한 간질 환자를 대상으로 실험했다. 간질 환자는 뇌에 전극을 심어 전기자극으로 발작을 줄이는 수술을 받는데, 이때 심어진 전극을 통해 음악을 들을 때 나타나는 뇌파 신호를 얻었다. 2009년부터 2015년까지 간질 환자 29명이 이번 실험에 참여했다.

연구진은 간질 환자들에게 핑크 플로이드의 음악을 들려준 후 뇌파 변화를 수집했다. 연구진은 “음악에는 언어적인 표현뿐 아니라 운율, 리듬, 강세 같은 다양한 요소가 들어 있다”며 “이 같은 정보를 뇌가 어떻게 처리하고, 뇌가 기록한 정보를 다시 음악으로 만들 수 있는지 확인했다”고 설명했다.

수집한 뇌파 데이터는 AI 모델을 통해 음악으로 재구성했다. 음악과 뇌파 신호를 학습한 AI 모델을 활용해 뇌파를 바탕으로 참가자가 듣고 있는 음악을 만들었다. 그 결과 실제 참가자들에게 들려준 원곡과 비슷한 음악이 만들어졌다. 음악의 멜로디뿐 아니라 가사의 일부도 재현하는 데 성공했다.

로버트 나이트 교수는 “뇌파 신호를 바탕으로 재구성한 음악은 마치 물 속에서 들리는 것처럼 완벽하지는 않지만 원곡을 충분히 유추할 수 있는 수준”이라며 “전극의 밀도를 높여 뇌파를 더 정확히 수집하면 음악 재구성의 품질을 더 높일 수 있을 것”이라고 말했다.

그래픽=정서희

일상적인 대화와 음악이 뇌의 다른 부분을 자극한다는 것도 확인했다. 일상적인 대화를 할 때는 우뇌가 주로 활성화된 반면 음악을 들을 때는 좌뇌의 활성이 더 커지는 것으로 나타났다. 실제로 뇌졸중을 비롯한 일부 뇌질환 환자는 언어 기능이 떨어져 대화하는 데 어려움을 겪지만 노래를 부르는 데는 아무런 문제가 없다. 연구진은 이런 차이가 대화와 음악을 다루는 뇌 영역이 달라 나타난다고 분석했다.

이번 연구 결과를 활용하면 언어 능력 저하를 겪는 뇌질환 환자들을 위한 뇌파 해석 장치를 개발할 수 있을 것으로 연구진은 기대했다. 앞선 연구에서 뇌파 신호를 분석해 문장을 만드는 데 성공했으나 단어를 완벽히 해독하지는 못했다. 음악에는 언어적 표현 외에도 다양한 표현이 들어 있는 만큼 언어 해독 기술을 발전시키는 데도 활용할 수 있을 것이라는 기대가 나온다.

이번 연구는 언어 능력에 문제가 생긴 뇌질환 환자를 돕는 것은 물론, 사람과 기계를 잇는 뇌-기계 인터페이스 기술의 발전으로 이어질 수 있을 전망이다. 연구진은 이번에 개발한 기술을 바탕으로 음악을 상상했을 때 나타나는 뇌파로 음악을 재구성하는 연구로 이어갈 예정이다. 벨리어 박사는 “인간의 뇌파 신호에서 음악적 특징을 구분할 수 있었다”며 “뇌파를 분석해 사람들이 듣고 있는 음악을 복원하는 것은 물론 사람들의 생각을 읽는 것도 가능해질 것”이라고 밝혔다.

참고 자료

PLoS Biology, DOI: https://doi.org/10.1371/journal.pbio.3002176

- Copyright ⓒ 조선비즈 & Chosun.com -