온도·향기·감촉까지 생생하게..차원 다른 '리얼 메타버스'가 온다 [Science]
평생 앞못보던 장애인
글자 읽고 게임까지 척척
페이스북 창업자이자 최고경영자(CEO)인 마크 저커버그는 최근 메타버스 기업으로의 전환을 선언했다. 페이스북뿐만이 아니다. 제페토, 로블록스 등으로 대표되는 메타버스 서비스는 연일 주목받고 있다. 실제로 글로벌 컨설팅 기업 프라이스워터하우스쿠퍼스(PwC)는 2019년 464억달러(약 53조원)에 불과했던 글로벌 메타버스 관련 시장 규모가 2030년 1조5429억달러(약 1781조원)까지 성장할 것으로 전망했다.
인공감각 기술을 이해하기 위해선 뇌에 외부 자극이 전달되는 과정부터 알아야 한다. 우선 세포 표면에 위치한 수용체가 압력과 진동으로 대표되는 외부 자극을 먼저 인지한다. 자극을 받은 수용체는 이에 대한 전기 신호를 만들어 체내 신경 다발에 전달한다. 전기 신호는 신경을 통해 뇌까지 도달한다. 마지막으로 뇌에선 신호를 인식해 자극을 느낀다.
인공감각 기술은 자극 전달 과정 중간 단계에 개입한다. 이를 통해 실제 자극을 받지 않아도 뇌가 자극을 받은 것으로 '착각'하게끔 만든다. 가장 기본적인 인공감각 기술은 액추에이터(자극을 주는 장치)를 이용한 방식이다. 우선 액추에이터에 달린 센서가 가상세계에서 일어난 일을 인식한다. 이후 액추에이터가 유사한 자극을 우리 몸에 주게 된다. 예를 들어 유저가 가상세계에서 무언가에 찔렸다면 이를 센서가 인식하고 액추에이터가 통각을 인체에 전달하도록 하는 방식이다. 현재 흔히 사용되는 VR용 헤드마운트 디스플레이나 이와 연계된 이어폰 등이 모두 액추에이터에 해당한다.
반면 현재 연구되고 있는 기술은 액추에이터를 사용하지 않는다. 자극을 몸에 주지 않고 전극을 통해 신경에 전기 신호를 전달하는 방식을 사용한다. 후각이나 미각보단 인공촉각 기술에 대한 연구가 주로 진행되고 있다. 대표적으론 박성준 KAIST 바이오및뇌공학과 교수 연구팀이 개발한 신경신호 모사를 통한 인공감각 시스템이 있다.
연구팀은 나노입자 기반의 촉각 센서를 제작하고 이를 회로에 연결시켜 센서가 인식한 신호를 자극에 대한 전기 신호와 유사하게 변환시킨 뒤 이를 신경에 전달했다. 쥐 모델 실험 결과 연구팀의 시스템에서 발생한 신호는 생체 내에서 왜곡 없이 전달되며 근육 반사 작용 등 감각 관련 현상을 구현할 수 있었다. 또 연구팀은 지문 구조로 만든 감각 시스템을 20여 종의 직물과 접촉시킨 결과를 딥러닝으로 분석해 직물 질감을 99% 이상 분류할 수 있는 기술을 개발했다.
직접 자극에 대한 전기 신호를 뇌에 전달하는 연구도 일부 진행 중인 것으로 알려졌다. 최승문 포스텍 컴퓨터공학과 교수는 "뇌의 운동중추나 시각중추 등을 자극하면 실제로 무언가를 보거나 만지지 않아도 동일한 느낌을 받지 않겠느냐는 가정에서 여러 연구가 진행되고 있다"며 "물론 초기 단계지만 두개골을 뚫고 들어갈 수 있는 초음파로 뇌 내 뉴런을 자극하는 연구를 하고 있다"고 설명했다. 그는 "만약 이 같은 기술을 구현 가능하다면 영화처럼 헬멧 하나만 쓰고 가상세계에서 오감을 모두 느끼는 시대가 올 수 있다"고 덧붙였다.
사람이 느끼는 감각을 아예 개인 맞춤형으로 분류하기 위한 연구도 있다. 장재은 DGIST 정보통신융합전공 교수 연구팀은 최근 사람마다 느끼는 촉각 자극을 분석할 수 있는 인공지능(AI) 기술을 개발했다. 이 AI는 사람마다 다르게 느끼는 물체의 질감에 대한 전기 신호를 알아낼 수 있다. 같은 물체도 누구에겐 부드러울 수 있고 다른 사람에겐 거칠 수 있는데, 이 AI는 이런 주관적인 정보를 학습했다. 연구팀은 40여 개 다양한 옷감에 대해 사용자가 느끼는 감각을 AI에 학습시켰고, 그 결과 AI는 98%의 정확도로 실제 감각과 유사한 인공감각을 맞출 수 있었다. 또 AI는 새로운 옷감에서도 유저의 느낌과 91% 일치하는 인공감각을 구현해냈다.
장 교수는 "같은 물체라도 개인마다 갖는 감각에 대한 편차를 분석해 AI에 학습시켜 개인 맞춤형으로 감각을 분류하는 데 성공했다"며 "유저가 느끼는 감각에 대해 AI가 분석한 데이터로 유저 본인이 느꼈던 감각을 바로 파악할 수 있는 센서를 만든 것"이라고 말했다.
다만 리얼 메타버스가 실제로 구현되기까진 시간이 상당히 필요할 전망이다. 장 교수는 "현재 인공촉각 기술은 센서, 액추에이터 모두 기술이 부족한 상황"이라며 "시각이나 소리 자극은 사람과 떨어진 곳에서 발생해 액추에이터 개발이 용이하지만 촉각 자극은 항상 인체와 직접 접촉해야 하기 때문에 기술 구현이 어렵다"고 밝혔다. 이종화 기자
인공와우가 소리 자극을 전기 신호로 바꿀 수 있는 건 외부 어음처리기와 내부 임플란트 덕분이다. 외부 어음처리기는 소리 자극을 받아 인식하는 역할을 담당한다. 내부 임플란트는 인식된 자극을 전기 신호로 바꿀 수 있다. 내부 임플란트를 통해 형성된 전기 신호는 청각 신경에 전달되고, 마지막엔 뇌까지 도달하게 된다.
인공시각 기술은 앞을 전혀 보지 못하는 시각장애인들에게 시각을 되찾아줄 수 있는 기술이다. 대표적으론 지난해 미국 과학기술전문지 'MIT 테크놀로지 리뷰'에 보도된 스페인 미겔에르난데스대의 신경공학자 에두아르도 페르난데스가 시각장애인을 대상으로 진행한 임상 연구가 있다.
이 연구는 시각장애인 뇌에 직접 시각에 대한 전기 신호를 전달한다. 망막을 통해 시각 자극을 가장 먼저 접하고 이를 신경을 통해 뇌에 전달해주는 일반인과는 다르다. 눈, 망막, 시신경 등 모든 과정을 건너뛰고 뇌에 직접 전기 신호를 보내주는 방식이다. 이를 위해 연구진은 시각장애인 환자 뇌에 임플란트를 심었다. 또 카메라 장치가 달린 안경을 씌웠다. 시각장애인이 쓴 안경을 통해 얻은 실시간 영상은 전기 신호로 변환돼 환자의 뇌에 바로 전달된다. 뇌 임플란트는 이 신호를 인식해 뇌에 전달한다. 임상 실험에서 임플란트를 인식받은 환자는 원래 빛의 존재도 지각할 수 없는 상태였다. 이 기술 덕분에 종이에 써진 글자의 윤곽을 식별하거나 '팩맨' 게임도 할 수 있게 됐다. 바이오닉 암은 팔이 없는 절단 환자를 위한 기술이다. 사람의 피부, 근육, 골격, 관절 등을 본떠 만든 로봇 팔이라고 생각하면 된다. 바이오닉 암은 대부분 플라스틱으로 된 의수 안에 구동기와 센서 등 부품이 탑재된 형태로 돼 있다.
실제로 한국기계연구원은 바이오닉 암 손끝에 달 수 있는 센서 기술을 개발했다. 이 기술은 신경을 통해 뇌에서 감각을 인지하는 것과 같은 원리로 사람의 피부처럼 촉각을 느낄 수 있다. 기존에도 유사한 기술이 있었지만 기계연은 실제 외부에 닿는 접촉 부분과 촉감을 인식하는 센서 부분을 공압튜브로 연결했다. 이 덕분에 기존 센서가 작동하기 어려웠던 수중이나 고온의 환경에서도 활용할 수 있게끔 했다.
[이종화 기자]
[ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지]
Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지
- 국내 첫 여성 비뇨의학과 교수, `몸짱` 의사로 변신
- JW중외제약, 이상지질혈증 세계 최초 복합신약 `리바로젯` 허가
- 학교법인 일송학원, 30억 안테나 전문장비 `공공재`로 내놔
- 고려대 구로병원, 코로나19 백신 `정량 자동 추출 기술` 개발
- 안일한 전동 킥보드 이용, 치아 파절·뇌진탕 부른다
- 강경준, 상간남 피소…사랑꾼 이미지 타격 [MK픽] - 스타투데이
- 유한양행 영업익 급감에도 ‘꽃길’ 점친다
- ‘김기리 ? 문지인’ 결혼식, 백지영·박진주 ‘축가’...“세기의 결혼식 방불케해”(종합) - MK
- 이찬원, 이태원 참사에 "노래 못해요" 했다가 봉변 당했다 - 스타투데이
- 양희은·양희경 자매, 오늘(4일) 모친상 - 스타투데이