말 못하는 루게릭병 환자, 감정 섞인 노래까지 했다…BCI 기술의 진화

루게릭병으로 언어 능력을 잃은 환자의 뇌 신호를 실시간으로 해독해 감정을 담은 말과 노래까지 구현하는 뇌-컴퓨터 인터페이스(BCI) 기술이 세계 최초로 개발됐다. BCI 기술을 표현한 이미지. 게티이미지뱅크 제공

루게릭병(근위축성 측삭경화증)으로 언어 능력을 잃은 환자가 감정을 담은 말을 하고 노래를 하는 데 성공했다. 뇌 신호를 실시간으로 해석하는 뇌컴퓨터 인터페이스(BCI) 기술을 활용한 세계 첫 성과다. 단순히 말소리 생성을 넘어 억양, 강세, 음 높이 등 자연스러운 언어의 감정적 요소까지 재현했다. BCI가 향후 실용적인 의사소통 보조 장치로 발전할 수 있다는 전망이 나온다. 

미국 데이비스캘리포니아대(UC데이비스) 연구팀은 뇌의 전기신호를 10밀리초(ms, 1ms는 1000분의 1초) 단위로 실시간 해독해 환자가 발화를 시도하는 순간의 뇌파를 기반으로 바로 합성음을 생성하는 BCI 시스템을 개발했다. 연구 결과는 국제학술지 '네이처'에 12일 게재됐다.

기존 BCI 기술은 사용자가 문장을 모두 구성한 뒤 음성을 출력하거나 단조로운 톤의 음성만 생성하는 데 그쳤다. 이번 연구에선 발화 의도와 동시에 억양 변화나 특정 단어를 강조하는 표현까지 반영된 ‘자연스러운 말하기’를 구현했다. 

연구팀은 루게릭병으로 말을 하지 못하게 된 45세 남성 환자를 대상으로 기술을 개발했다. 환자는 입모양을 움직이고 소리를 낼 수 있었지만 말이 느리고 불명확했다. 연구팀은 환자의 뇌 운동 영역에 길이 1.5밀리미터(mm)의 실리콘 전극 256개를 삽입했다. 딥러닝 알고리즘을 활용해 10ms마다 생성되는 뇌 신호를 실시간 분석해 음성으로 전환했다.

또 기존 음소 중심의 언어 해독 방식 대신 환자가 실제로 발화하려는 ‘소리 자체’를 해독하는 방식을 적용했다. 이를 통해 ‘아’, ‘음’, ‘오’ 같은 감탄사나 사전에 등록되지 않은 새로운 단어도 생성할 수 있게 했다. 연구팀은 환자가 병에 걸리기 전 인터뷰에서 녹음한 음성을 인공지능(AI)에 학습시켜 합성음이 환자의 실제 목소리와 유사하도록 조정했다.

실험에서 환자는 단어를 스스로 조합해 질문에 답하거나 특정 단어를 강조해서 말했다. 문장의 끝을 올려 질문 형태로 표현하는 등 억양을 조절하는 모습도 보였다. 연구팀은 "연구에 참여한 환자는 합성음이 자신의 말처럼 들린다고 느꼈으며 행복하다는 반응을 보였다"고 말했다. 

연구팀은 "향후 감정, 억양, 자율성이 모두 반영되는 인간 중심의 음성 BCI 기술을 연구개발할 계획"이라며 "BCI 시스템이 언어 능력을 상실 한 환자의 삶의 질을 실질적으로 향상시키는 데 기여할 수 있을 것"이라고 기대했다. 

<참고 자료>
- doi.org/10.1038/d41586-025-01818-1

[박정연 기자 hesse@donga.com]