안면 마비로 막힌 말문, '두뇌 해독' AI로 트이게 한다

UCSF·스탠퍼드대, 네이처에 '뇌-컴퓨터 인터페이스'(BCI) 연구결과 게재
전자칩이 측정한 뇌파, 생성형 AI가 해독…음성 아바타로 목소리까지 재현

캐나다 서스캐처원주(州)에 거주하는 뇌줄중 환자 앤 존슨(48·여)이 뇌파를 문자나 음성 등으로 변환하는 '뇌-컴퓨터 인터페이스(Brain-Computer Interface·BCI) 기술의 도움을 받아 화면 속 아바타를 통해 남편과 대화하는 모습. (캘리포니아대 샌프란시스코(USCF) 의과대학 유튜브 갈무리) 2023.8.24.

(서울=뉴스1) 김성식 기자 = 캐나다 서스캐처원주(州)에 거주하는 앤 존슨(48·여)은 서른 살에 찾아온 뇌졸중으로 안면이 마비돼 온전한 의사소통 능력을 상실했다. 이로 인해 학교 배구 코치직을 그만둬야 했으며 사랑하는 남편 윌리엄 존슨에게 따뜻한 말 한마디조차 제대로 건넬 수 없었다.

그러나 최근 한 연구팀의 도움을 받아 18년 만에 처음으로 남편과 온전한 대화를 나눌 수 있게 됐다. 머릿 속 생각들이 자신을 닮은 아바타를 통해 구현되면서다. 앤은 화면 속 아바타를 매개로 18년 만에 남편과 대화하며 "민망하니 그만 좀 웃겨달라"고 너스레를 떨었다.

이처럼 안면 마비로 실어증을 겪는 장애인의 대화를 보조하는 새로운 기술이 공개됐다. 뉴욕타임스(NYT)에 따르면 전자칩을 통해 측정한 뇌파를 생성형 인공지능(AI)으로 해독해 문자나 음성으로 변환하는 '뇌-컴퓨터 인터페이스(Brain-Computer Interface·BCI)' 연구 결과 두 편이 24일 국제 학술지 네이처에 게재됐다.

먼저 미국 캘리포니아대 샌프란시스코(UCSF) 의과대학이 캘리포니아대(UC) 버클리 및 영국 재활의료 기업 스피치 그래픽스와 공동으로 진행한 연구가 앤의 사례다. 연구팀은 253개의 전극이 들어 있는 얇은 전자 센서를 두피에 부착했다.

센서는 피질에 미세 전극을 가해 뇌파를 측정했다. 이는'비침습적 BCI' 혹은 '뇌전도(ECoG)' 라고 불리는 방식으로 전자칩을 직접 두뇌 속에 심는 '침습적 BCI'보다 간편하다.

연구팀은 측정된 뇌파를 토대로 생성형 AI가 앤의 생각을 음소 단위로 해독할 수 있도록 반복 훈련했다. AI는 앤이 1024개의 단어를 사용해 249개의 문장을 생성하려는 과정에서 분비된 무수한 뇌파를 학습했다. 그 결과 AI는 분당 78개의 단어를 생성할 수 있게 됐다.

이는 2년 전 같은 연구팀이 진행한 실험보다 5배 이상 빠른 속도다. 당시 '판초'라는 가명을 사용한 안면마비 남성을 상대로 한 실험에서 분당 15개 단어를 생성했다. 비장애인들이 분당 160개의 단어를 발화한다는 점을 감안하면 느린 속도이긴 하지만 AI 학습을 통해 이를 늘려갈 계획이다.

연구팀은 더욱 실감 나는 대화를 위해 스피치 그래픽스에 아바타 합성을 의뢰했다. 그런 다음 아바타에게도 생성형 AI를 활용해 앤의 목소리 파일을 학습하게 했다. 이를 통해 앤의 머릿속에서 성대, 턱, 혀, 입술 등의 근육을 움직이려는 시도를 포착해 아바타의 음성과 표정으로 구현했다. 앤은 "나와 비슷한 목소리를 듣는 것만으로도 감격스럽다"며 만족감을 표시했다.

뇌파를 해독해 음성을 생성하는 AI를 설계한 UC 버클리대 소속 카일로 리틀존 박사는 "음성에는 억양, 음정, 표정 등 문자만으로는 잘 보존되지 않는 많은 정보가 있다"고 설명했다. UCSF 의대 소속 에드워드 장 신경외과 전문의는 "목소리는 정체성에서 정말 중요한 요소다. 의사소통뿐만 아니라 우리가 누구인지를 규정한다"며 단순 문자 나열과 차별화된 결과임을 강조했다.

이날 네이처에 실린 또 다른 연구 결과는 미국 스탠퍼드대가 하워드 휴스 의학연구소, 세인트루이스 워싱턴대, 브라운대, 하버드대, 매사추세츠 종합병원과 공동으로 진행한 실험이다.

연구팀은 루게릭병 환자 팻 베넷(67)의 두뇌에 전자칩을 이식하는 '침습적 BCI' 방식을 사용했다. 그 결과 분당 62 단어의 속도로 문자 소통 할 수 있음을 확인했다. 오류율은 9.1% 수준으로 나왔으며 별도의 음성이나 아바타를 만들지는 않았다.

연구팀은 앞서 소개된 UCSF 연구팀과 같이 생성형 AI에 뇌파를 학습시켜 실시간 해독 속도를 이전 실험 때보다 2.7배 늘렸다. 연구를 주도한 스탠퍼드대 소속 프랜시스 월렛 신경과학 박사는 "이제 루게릭병 환자에게 원활한 대화를 복원해 그들의 생각을 정확하고 자유롭게 말할 수 있게 됐다"고 평가했다.

seongskim@news1.kr