"생각만 했는데 고개 끄덕"…영화 속 '아바타' 현실이 됐다

생각 속 단어·몸짓 아바타로 구현
언어능력 잃은 환자 지원 기대
상용화에는 아직 기술적 한계

사진=게티이미지

마비 환자의 뇌파를 읽어 말과 몸짓을 디지털 아바타로 구현하는 기술이 개발됐다. 생각만으로 의사소통할 수 있도록 돕는 뇌·컴퓨터 인터페이스(BCI)가 음성을 넘어 몸짓까지 동시에 재현하는 단계로 발전했다는 평가가 나온다.

14일(현지시간) 파이낸셜타임스(FT)에 따르면 미국 캘리포니아대 샌프란시스코 연구진은 말과 신체 움직임을 동시에 해독해 이를 가상 아바타로 구현하는 시스템을 개발했다. 연구진은 “하나의 뇌 임플란트로 두 기능을 동시에 구현한 것은 이번이 처음”이라고 설명했다.

연구를 이끈 사만다 브로슬러는 국제학술지 ‘네이처 뉴로사이언스’에 발표한 논문에서 “한 번에 하나의 기능만 회복하는 BCI를 넘어 하나의 뇌 인터페이스로 여러 형태의 의사소통과 움직임을 복원하는 것이 목표”라고 밝혔다.

그는 “몸짓은 말에 의미와 강조, 감정, 맥락을 더하고 경우에 따라서는 말을 완전히 대신할 수도 있다”며 “고개를 끄덕이거나 젓는 행동, 손을 흔들거나 어깨를 으쓱하는 행동, 엄지를 들어 올리는 행동 등이 대표적”이라고 설명했다.

연구진은 두 명의 참가자를 대상으로 각각 10개와 4개의 의사소통용 몸짓을 실험했다. 머신러닝을 접목한 시스템은 두 참가자가 생각한 단어와 몸짓을 정확하게 해독하는 데 성공했다. 연구팀은 앞으로 해독할 수 있는 어휘를 늘리고 신체 전반의 연속적인 움직임까지 구현한다는 계획이다.

FT는 “기술이 상용화되면 뇌졸중이나 루게릭병 기타 뇌 질환으로 말하는 능력은 잃었지만 인지 기능은 온전한 수백만 명에게 새로운 의사소통 수단을 제공할 수 있을 것으로 기대된다”고 전했다. 향후 해당 기술은 뇌성마비나 자폐증으로 발성에 어려움을 겪는 사람에게도 활용될 가능성이 있다.

전문가들은 이번 연구가 BCI 기술뿐 아니라 인간의 뇌가 말과 몸짓을 처리하는 방식을 이해하는 데도 의미가 있다고 평가했다. 킹스칼리지런던의 뇌 역학 전문가인 리처드 로시는 “이번 연구는 뇌에서 말과 손동작을 처리하는 영역이 상당 부분 겹친다는 사실을 보여준다”고 말했다. 인간의 뇌가 각각 고도로 전문화된 영역으로 명확하게 나뉘어 작동하기보다 개별 영역의 기능이 상당 부분 중첩돼 있을 가능성을 뒷받침한다는 설명이다.

다만 실제 환자들이 일상적으로 이용하기까지는 넘어야 할 산이 많다. 현재 기술은 복잡한 수술이 필요한데다 임플란트가 삽입된 반대편 신체의 움직임을 처리할 때 성능이 떨어지는 한계가 있다. 현재 시스템을 환자마다 개별적으로 맞춤 제작해야 한다는 점도 상용화의 주요 걸림돌로 꼽힌다.

한명현 기자 wise@hankyung.com