네이처 "마비환자 뇌 해독...생각 읽어 대신 말해주는 장치 개발"

뇌 활동은 살아있지만 말을 할 수 없는 루게릭병과 뇌졸중 중증 마비 환자가 자신의 생각을 말과 글로 전달할 수 있는 장치가 개발됐다. 뇌의 전기적 자극을 분석해 생각을 말과 글로 옮길 수 있는 장치다.

원하는 자음이나 모음에서 박승일씨의 눈꺼풀은 미세하게 떨린다. 어머니와 간병인만 알아챌 수 있을 정도다. 이 떨림조차 마비되면, 그가 세상과 소통할 방법은 사라진다. 지난 2009년 모습이다. 중앙포토

미국 스탠퍼드대 프랜시스 윌렛 박사팀과 샌프란시스코 캘리포니아대(UCSF) 에드워드 창 교수팀은 24일 과학저널 '네이처'(Nature)에서 각각 말을 못 하는 중증 마비 환자의 뇌 활동을 독해해 음성과 텍스트로 출력할 수 있는 '뇌-컴퓨터 인터페이스'(BCI)를 개발했다고 밝혔다.

이전 연구에서는 마비 환자의 말하려는 내용을 독해하는 게 가능하다는 게 밝혀졌는데, 여기서 한 발 더 나아가 실제 의사소통을 할 수 있다는 것을 보여준 것이다.

스탠퍼드대 윌렛 박사팀은 2012년 진행성 신경퇴행 질환인 루게릭병 진단을 받은 뒤 온몸의 근육이 점점 마비돼 결국 말을 못 하게 된 팻 베넷(68·여)의 뇌 활동을 측정, 말하려는 내용을 읽어내고 출력하는 BCI 장치를 공개했다.

베넷의 뇌는 여전히 말하고자 하는 내용의 음소를 만들어내라는 명령을 내릴 수 있지만 입과 혀 등의 근육이 마비돼 이를 실행할 수 없는 상태다.

연구팀은 지난해 3월 말 베넷의 언어 생성에 관여하는 두 개 뇌 영역에 작은 센서 두 개씩 삽입했다. 첨단 해석 소프트웨어와 연결된 이 센서는 환자가 말하려 할 때 수반되는 뇌 활동을 측정하고 해석해 단어를 화면에 출력한다.

BCI 연구에 참여한 루게릭병 환자 팻 베넷 씨와 연구팀. 연합뉴스

수술 한 달 후부터 연구팀은 베넷의 말을 해석하는 소프트웨어 훈련을 매주 두 차례 실시했다. 이 시스템을 사용한 지 4개월 후 베넷은 말하려는 내용을 분당 62단어 수준으로 컴퓨터 화면에 띄울 수 있게 됐다.

연구팀은 이는 기존 BCI 지원 의사소통 시스템의 최고 속도(분당 18단어)보다 3.4배 빠른 것이라고 밝혔다. 베넷은 최근 자연스러운 대화 속도인 분당 160단어에 점점 근접하는 것으로 전해졌다.

이 시스템은 50단어 어휘 수준에서 오류율이 9.1%로 2021년 공개된 음성 BCI의 2.7분의 1 수준으로 줄었다. 12만5000단어 어휘에서는 23.8%의 오류율을 기록했다.

베넷은 "궁극적으로 말을 하지 못하는 사람들이 이 기술을 사용할 수 있게 될 것"이라며 "더 큰 세상과 계속 연결되고 일을 하고 친구·가족과 관계를 유지할 수 있다는 것을 의미한다"고 말했다.

UCSF 에드워드 창 교수팀은 별도 연구에서 18년 전 뇌간 뇌졸중으로 말을 못하게 된 여성(47)의 뇌 활동을 피질 뇌파 검사(ECoG) 전극으로 측정하고 심층학습(deep learning) 모델로 해석해 그 내용을 텍스트와 음성, 말하는 아바타 등 3가지로 출력하는 장치를 공개했다.

연구팀은 전극 253개가 배열된 종이 두께의 얇은 직사각형 배열을 언어에 중요한 역할을 하는 뇌 부위 표면에 이식해 뇌졸중이 아니었으면 말을 할 때 얼굴과 혀, 턱, 후두(喉頭)로 전달됐을 뇌 신호를 측정했다.

연구팀은 수 주 동안 이 여성에게 1024개로 구성된 대화 어휘를 반복해 말하게 하면서 측정한 신호로 인공지능 알고리즘을 훈련, 분당 평균 78단어를 해석, 출력하는 BCI 시스템을 만들었다. 이는 이전 최고 기록보다 4.3배 빠른 속도다.

이 BCI 시스템은 50개 구문 세트를 이용한 문장 해석에서 오류율이 4.9%로 기존 음성 BCI의 5분의 1 수준이었다. 1000개 이상의 단어가 포함된 문장의 실시간 해석에서는 25%의 단어 오류율을 기록했다. 또 3만9000 단어 이상의 어휘를 사용한 오프라인 시뮬레이션에서는 28%의 단어 오류율을 보였다.

연구팀은 이 BCI 시스템은 환자의 부상 전 목소리로 음성 출력을 할 수 있고 뇌 신호를 해석해 아바타 표정으로 표출할 수도 있다며 마비 환자들이 더 자연스럽고 풍부한 표현방식으로 의사소통할 수 있는 가능성을 제공할 것이라고 말했다.

농구 선수 출신으로 루게릭병으로 앓고 있는 박승일씨는 안구 마우스를 통해 의사소통을 한다. 자신이 원하는 자음과 모음이 나오면 미세하게 눈을 깜빡여 글자를 만드는 방식이다. 승일희망재단 공동대표로 루게릭병 환자를 위한 활동을 하고 있다.

이해준 기자 lee.hayjune@joongang.co.kr