성가신 장비 없이 동작 인식하는 '카펫형 VR 센서' 개발

GIST 연구팀이 개발한 카페트형 가상현실(VR) 센서 위에서 한 사용자가 VR 게임에 몰입하고 있다(왼쪽). 왼쪽에서 두번째부터는 사용자가 보는 VR 게임 화면을 합성한 사진. GIST 제공

가상현실(VR) 환경에서는 사용자의 동작과 의도가 정밀하게 인식될수록 사용자 체험 몰입도가 높아진다. 국내 연구팀이 기존 웨어러블 센서 방식에서 벗어나 사용자의 동작을 더 정확하게 인식할 수 있는 카펫형 촉각 센서를 개발했다.

광주과학기술원(GIST)은 김경중 융합기술학제학부 교수팀이 카펫형 촉각 센서로 사용자의 발 압력 데이터를 분석해 행동을 인식하는 기술을 개발했다고 31일 밝혔다. 연구결과는 지난달 27일 학술대회 'IEEE VR 2024'에서 발표됐다.

VR 환경에서 몰입 경험과 상호작용 성능을 크게 향상하려면 자연스러운 이동 구현이 기본 바탕이 돼야 한다. 현실 공간에는 물리적 한계가 존재하기 때문에 제자리 움직임을 VR에서의 움직임으로 구현하는 연구들이 진행된다. 기존 연구는 사용자의 센서 착용이 필수적이기 때문에 움직임에 불편함을 주는 문제가 있었다.

연구팀은 카페트형 고해상도 센서에 입력된 발 압력 데이터를 처리하기 위해 새로운 인공지능(AI) 모델인 '자가 학습 비전 트랜스포머(STViT)'를 개발해 동작들을 정확히 구분하도록 했다. 비전 트랜스포머(ViT)는 이미지를 작은 조각으로 나누고 각 조각을 분석하는 AI 비전 분야 최신 기술이다. 인간 시각 체계를 모방해 이미지를 실시간으로 정확하게 분류하고 식별할 수 있다.

연구팀이 개발한 센서는 뛰기, 걷기, 살금살금 걷기, 서기, 앉기 등 다양한 동작을 구분할 수 있는 것으로 나타났다. VR 환경에 대한 사용자의 자연스러운 몰입을 도와 교육, 의료, 엔터테인먼트 등 다양한 분야에서 활용될 것으로 기대된다. 의료 분야에서는 환자 재활 과정을 세밀하게 모니터링하고 교육 분야에서는 실제 같은 상호작용을 통해 학습 효과를 극대화할 수 있다.

김 교수는 "웨어러블 장치 없이도 사용자의 동작을 더욱 자연스럽고 편안하게 인식할 수 있는 인터페이스"라며 "가상현실에서의 자연스러운 이동 문제를 해결하고 더 몰입감 있는 사용자 경험을 제공할 수 있는 새로운 가능성을 열 것으로 기대한다"고 밝혔다.

[이병구 기자 2bottle9@donga.com]