‘인공지능 모자’가 생각을 읽어준다

곽노필의 미래창

시드니공대 연구원이 모자형 뇌파 인식 장치를 쓴 채 예문을 속으로 읽고 있다. 시드니공대 제공

사고나 질환으로 팔다리가 마비되고 말을 할 수 없는 사람들을 위한 의사소통 방식으로 연구되고 있는 것이 ‘뇌-컴퓨터 인터페이스’(BCI)다. 뇌파를 분석해 생각을 읽고 이를 말이나 글자로 바꿔 전해주는 기술이다.

지난해 1월 미 스탠퍼드대 연구진이 1분당 62단어의 속도로 문자나 기계음성을 통해 의사소통하는 데 성공한 데 이어, 8월엔 샌프란시스코 캘리포니아대(UCSF) 연구진이 생각을 1분당 80단어의 문자 외에 얼굴 표정과 목소리까지 합성해 재현하는 데 성공할 정도로 기술이 빠른 속도로 발전하고 있다.

또 싱가포르국립대와 홍콩 중문대 연구진, 미국 오스틴 텍사스대 연구진 등은 기능성 자기공명영상(fMRI) 장치를 이용해 생각을 문자로 바꾸거나 영상으로 재현하는 기술을 선보였다.

이런 생각 읽기 기술의 발전에는 빠르게 발전하고 있는 인공지능 기술의 역할이 크다. 그러나 지금까지 개발된 것들은 뇌에 칩을 이식하거나 값비싼 첨단 장치를 사용해야 했다.

뇌에 칩을 이식하는 방식은 감염, 출혈, 발작 등의 위험을 감수해야 한다. 뇌 영상은 그럴 위험은 없지만 전극 임플란트에 비해 속도가 느리고 정확성이 떨어지는 단점이 있다. 일론 머스크가 이끄는 뉴럴링크에서는 뇌 이식 칩을 실험하는 과정에서 원숭이를 비롯한 다수의 동물이 사망하는 일이 발생한 것으로 알려져 동물 학대 논란에 휩싸이기도 했다.

시드니공대 연구진이 개발한 뇌파-문장 변환 장치의 구조와 실제 사례. 굵은 글자는 인공지능이 정확하게 뇌파를 해독한 부분을 나타낸다.

두 가지 고민을 한꺼번에 해소

오스트레일리아 시드니공대 연구진이 두 가지 고민을 한꺼번에 해소해 줄 수 있는 비침습 뇌파 인식 장치를 선보였다. 이 장치는 안구 추적 같은 보조 장치도 쓰지 않았다. 모자처럼 쓰면 되기 때문에 칩을 뇌에 이식할 필요도, 값비싼 뇌 영상 장치를 동원할 필요도 없다. 개발 단계의 실험용 장치이지만 뇌-컴퓨터 인터페이스가 지향해야 할 지점을 정확히 겨냥했다.

‘브레인지피티’(BrainGPT)라는 이름의 이 장치는 2022년 말 오픈에이아이가 내놓은 챗지피티 이후 일약 인공지능계의 총아로 떠오른 거대언어모델(LLM)에 기반을 두고 있다. 거대언어모델은 엄청난 양의 정보를 학습한 뒤, 이를 토대로 맥락을 파악해 다음에 무엇이 올지 예측하는 방식으로 답변을 생성한다. 학습량이 많을수록 정확도가 높아진다.

브레인지피티 연구는 지난달 미국 뉴올리언스에서 열린 인공지능 국제학술 행사인 뉴립스(NeurlPS, 신경정보처리시스템) 학회에서 ‘주목되는 논문’으로 선정됐다.

브레인지피티는 연구진이 개발한 디웨이브 알고리즘을 통해 뇌파를 언어로 변환하는 훈련을 했다. 연구진은 우선 29명의 실험참가자들에게 뇌파 측정 모자를 씌운 뒤, 화면을 통해 다양한 예문을 보여주면서 말을 하지 말고 속으로 읽도록 했다. 과거 한두명만을 대상으로 했던 실험에 비해 학습량을 대폭 늘리기 위해서다.

이어 이때 발생하는 뇌파(EEG) 신호를 모자에 부착한 전극을 통해 측정했다. 그런 다음 측정 데이터를 디웨이브에게 학습시켜, 각각의 뇌파 특성에 맞는 구절을 찾아내도록 했다. 이렇게 해서 학습을 마친 브레인지피티는 뇌파를 문장으로 변환할 수 있는 능력을 갖추게 된다.

동사보다 명사 번역에 더 약한 이유

연구진이 공개한 실험 동영상을 보면 브레인지피티는 “좋은 오후! 당신이 잘하길 바랍니다. 에스프레소 샷을 추가한 카푸치노로 시작할게요” (Good afternoon! I hope you're doing well. I'll start with a cappuccino, please, with an extra shot of espresso.) 라는 예문을 읽은 사람의 뇌파에서 “오후! 잘하고 있나? 카푸치노, 에스프레소 샷 추가”(Afternoon! You well? Cappuccino, Xtra shot esspresso)라는 미완성 문장을 만들어냈다. 대략적인 의미 정도는 추론할 수 있는 수준이다.

실험 결과 브레인지피티는 동사보다 명사에 더 약했다. 명사의 경우 ‘저자’ 대신 ‘그 사람’처럼 정확한 번역보다는 같은 뜻을 지닌 다른 단어를 제시하는 경향을 보였다. 연구진은 의미가 비슷한 단어들은 뇌파도 비슷한 데서 일어나는 오류로 추정했다.

뇌파 해독의 전체적인 정확도는 40% 수준으로 상용화를 하기에는 아직 많이 부족하다. 뇌에 전극을 이식하는 방식에 비해서도 정확도는 크게 떨어진다. 전통적인 언어 번역 수준에 해당하는 90%에 이르려면 아직 갈 길이 멀다. 그러나 뇌에 전극을 이식하는 방식보다 신호가 미약하고 부정확함에도 초기 실험 단계에서 이 정도 성능을 보인 것에 대해 연구진은 긍정적으로 평가했다. 매우 얇으면서도 부식이 잘 되지 않고 전기 전도율이 높은 그래핀을 소재로 만든 센서가 비침습 장치의 약점을 극복하는 데 한몫을 했다.

연구를 이끈 린 진텡 교수는 뇌파를 언어로 번역하는 과정에 거대언어모델을 결합시킴으로써 이 분야에서 새로운 지평을 열어가고 있다고 자평했다.

*논문 정보https://doi.org/10.48550/arXiv.2309.14030

DeWave: Discrete EEG Waves Encoding for Brain Dynamics to Text Translation

곽노필 선임기자 nopil@hani.co.kr