17년 전 잃어버린 목소리...AI와 뇌과학이 되살렸다

스탠퍼드대 AI, 91% 정확도로 단어 전달
UCSF, 뇌 손상 덜 주고도 분당 78단어 속도

뇌간 뇌졸중으로 말을 하지 못하는 47세 여성 환자 앤(오른쪽)이 UCSF 의대 연구진이 개발한 AI로 말하는 모습. 연구진은 그가 병을 앓기 전 찍었던 결혼식 동영상 화면을 이용해, 그가 말할 때 짓는 표정과 목소리를 따라하는 아바타 AI도 만들었다. 앤이 말하고 싶은 문장을 떠올리면 이 아바타가 표정을 움직이면서 말한다./Noah Berger

미국에 사는 47세 여성 앤(Ann)은 30살이 되던 해 뇌간 뇌졸중으로 심각한 마비를 겪었다. 그녀는 어느 날 오후부터 갑자기 몸의 모든 근육에 대한 통제력을 잃었고 숨을 쉴 수도 없었다. 그렇게 17여 년을 자신의 목소리마저 잃고 살아왔다.

앤은 최근 과학자들의 노력과 뇌의 신호를 읽는 뇌-컴퓨터 인터페이스(BCI)라는 기술로 자신의 디지털 분신인 아바타(avatar)를 통해 의사소통할 수 있게 됐다. 아바타 표정과 목소리는 앤이 건강하던 시절 결혼식에서 촬영된 영상과 음성을 바탕으로 복원됐다. 이 기술은 앞서 연구팀이 개발했던 기존 AI보다 2~3배 빠르고 오류율도 최소 9.1%로 정확하다.

미국 과학자들이 근위축성 측삭경화증(루게릭병)과 뇌졸중에 걸려 말을 하지 못하는 환자의 뇌파를 읽어 언어로 바꿔주는 인공지능(AI)을 잇따라 개발했다.

국제 학술지 ‘네이처’는 24일 미국 스탠퍼드대와 샌프란시스코 캘리포니아대(UCSF) 의대 연구진이 각각 중증 마비 환자의 뇌 활동을 측정해 글이나 합성 음성으로 바꾸는 AI를 개발했다고 밝혔다. 사람의 뇌세포는 약 1000억 개인데, 뇌세포에서 발생한 전기신호가 다른 뇌세포로 이동하며 생각하거나 말을 한다. AI는 각 단어를 말하려고 할 때마다 달라지는 전기적 활동을 보고 해당 단어가 무엇인지 분석해 언어로 바꾸는 원리다.

프랜시스 윌렛 스탠퍼드대 하워드휴즈의학연구소 연구원(왼쪽)이 루게릭병을 앓는 67세 환자(오른쪽)가 생각하는 단어를 말이나 글로 바꿔주는 AI로 연구를 하고 있다. 연구진이 개발한 AI는 분당 62단어 속도로 생각을 말로 바꿔준다. 생각하는 단어와 AI가 낸 단어가 다른 오류율은 최소 9.1%로 꽤 정확하다./Steve Fisch

◇ 스탠퍼드대가 만든 AI, 50개 단어에서 오류율 9.1%

제이미 헨더슨(Jaimie Henderson) 스탠퍼드대 의대 신경외과 교수와 프랜시스 윌렛(Francis Willett) 하워드 휴즈의학연구소 박사 연구진은 루게릭병을 앓는 67세 환자인 팻 베넷(Pat Bennett)이 말하도록 돕는 AI를 개발했다. 루게릭병은 대뇌와 척수의 운동세포가 서서히 망가져 결국 온몸을 움직일 수 없는 병으로 아직 치료법이 없다.

연구진은 베넷의 뇌에서 언어를 담당하는 영역 두 곳에 실리콘 전극을 두 개씩 심었다. 전극은 가로 세로 길이가 3.2㎜ 정도로 수 ㎜ 깊이로 뇌의 피질에 박힌다. 이 영역에서 전기적 활동이 일어나면 AI는 어떤 단어를 말하려는지 음성의 최소 단위인 ‘음소’ 수준에서 파악한다. 연구진은 베넷에게 단어 50개 또는 12만5000개로 이뤄진 어휘 세트를 주고, 이것을 이용해 다양한 문장을 말하도록 시켰다. 베넷이 실제로 말을 하지는 못해도 뇌에서는 말할 때와 동일한 전기적 활동이 일어난다.

그 결과 AI는 분당 62단어 속도로 생각을 말로 바꿨다. 환자가 말하고자 하는 단어와 AI가 인식한 단어가 서로 다른 비율인 ‘오류율’은 50개 세트를 이용할 때 약 9.1%로 상당히 정확했다. 단어 수가 이보다 훨씬 많은 12만5000개 세트를 이용할 때는 23.8% 정도로 증가했다. 연구진이 2021년 5월에 개발했던 AI보다 3.4배 빠르고 오류율도 37% 정도 줄은 수치다. 연구진은 베넷이 병을 앓기 전에 자연스럽게 말할 때의 속도가 분당 160단어였다며, 이번에 개발한 AI가 실제 대화 속도에 훨씬 가까워졌다고 설명했다.

윌렛 연구원은 논문 발표 전에 가진 기자회견에서 “네 단어 중 세 개 꼴로 정확하게 표현된다”며 “가까운 미래에는 마비 환자도 원하는 말을 무엇이든지 정확하고 빠르고 유연하게 말할 수 있을 것”이라고 설명했다.

스탠퍼드대 연구진이 개발한 생각을 말로 바꿔주는 AI의 원리. 뇌에서 언어를 담당하는 영역에 전극을 심은 사람이 말하고자 하는 단어를 생각하면 그 말을 할 때와 동일한 뇌 활동이 일어난다. AI는 이 전기적 활동을 보고 그가 무슨 말을 하려는지 인식해 글이나 말로 바꿔준다. AI이므로 훈련을 하면 할수록 단어를 인식하는 속도가 빨라지고 정확도도 높아진다./Stanford University

◇ UCSF 의대 AI는 뇌 손상 덜 주고도 빨라

에드워드 창(Edward Chang) UCSF 의대 신경외과 교수팀은 스탠퍼드대 연구진보다 뇌 손상을 덜 주고도 뇌파를 말로 바꾸는 AI를 내놨다. 스탠퍼드대 연구진은 전극을 뇌에 수 ㎜깊이로 심었지만, 창 교수팀은 종이처럼 얇은 전극을 뇌 영역에 붙였다.

창 교수팀은 2021년 7월에도 뇌파를 말로 바꾸는 AI를 내놨었다. 당시 AI는 분당 15.2단어 속도로 생각을 말로 바꿨으며 오류율은 25.6% 정도 였다.

연구진은 이번에 개발한 AI를 18년간 뇌간 뇌졸중으로 말을 하지 못하는 47세 여성 앤을 대상으로 훈련시켰다. 앤의 뇌에 전극 253개를 붙이고, 단어 1024개를 이용해 만든 문장 249개를 말하게 시킨 것이다. 그리고 AI는가 이때 뇌에서 발생하는 전기적 활동을 분석해 해석하도록 훈련시켰다.

그 결과 새로 개발한 AI는 속도가 분당 78단어로 기존보다 5배 빠른 것으로 나타났다. 오류율은 평균 25.5%로 기존 AI와 비슷했다. 단어를 인식하는 정확성은 스탠퍼드대 연구진이 개발한 AI가 더 뛰어났다. 하지만 창 교수팀의 AI는 뇌 손상을 덜 주고도 더욱 빠르게 생각을 말로 바꿀 수 있다는 점에서 의미가 크다.

창 교수팀은 앤이 병을 앓기 전 찍었던 결혼식 동영상 화면을 이용해 그의 표정과 목소리를 따라하는 아바타 AI도 만들었다. 앤이 하고 싶은 말을 떠올리면 화면 속 아바타 AI가 앤과 비슷한 목소리로 말을 했다. 앤은 “내 목소리와 비슷한 말소리를 듣다니 감동적이었다”며 “나에게 말을 할 수 있는 능력이 생겼을 때는 정말 대단했다”고 말했다.

하지만 두 연구진이 개발한 AI를 당장 환자들에게 적용하기에는 한계가 있다. 아직까지는 뇌 영역에 붙인 전극과 AI를 유선으로 연결해야 해 불편하기 때문이다. 연구자들은 AI를 상용화하려면 먼저 눈에 보이는 케이블이나 커넥터가 없이 무선으로 개발해야 한다고 밝혔다. 물론 건강한 사람이 자연스럽게 말하듯이 말하는 속도와 정확성도 더욱 향상해야 한다.

뇌간 뇌졸중으로 말을 하지 못하는 47세 여성 환자 앤이 UCSF 의대 연구진이 개발한 AI로 말하는 모습. 연구진은 그가 병을 앓기 전 찍었던 결혼식 동영상 화면을 이용해, 그가 말할 때 짓는 표정과 목소리를 따라하는 아바타 AI도 만들었다. 앤이 말하고 싶은 문장을 떠올리면 이 아바타가 표정을 움직이면서 말한다. 사진은 유튜브(https://youtu.be/--4QfZwS2Rc) 영상 캡처./Chang Lab

참고 자료

Nature(2023), DOI: https://doi.org/10.1038/s41586-023-06377-x

Nature(2023), DOI: https://doi.org/10.1038/s41586-023-06443-4

Nature(2021), DOI: https://doi.org/10.1038/s41586-021-03506-2

New England Journal of Medicine(2021), DOI: https://doi.org/10.1056/NEJMoa2027540

- Copyright ⓒ 조선비즈 & Chosun.com -