실제야? 가상이야?…몰입감 높인 VR 기술 개발

GIST 연구팀, 교육·의료·엔터테인먼트 등 다양한 분야 활용

[아이뉴스24 정종오 기자] 실제가 아닌 인공의 환경에서 공간·시간적 체험을 할 수 있는 가상현실(virtual reality, VR)은 체험자가 실제와 유사하게 느낄수록 더 몰입하고 즐길 수 있다. 최근 VR 환경에서 사용자의 동작을 실시간으로 정확하게 인식하는 새로운 기술이 개발돼 주목받고 있다.

광주과학기술원(GIST, 총장 임기철)은 융합기술학제학부 김경중 교수 연구팀이 기존의 웨어러블 센서에 의존하던 방식에서 벗어나 고해상도 카펫형 촉각 센서로 사용자의 발 압력 데이터를 상세하게 분석해 행동을 인식하는 기술을 개발했다고 31일 발표했다.

VR 내에서 사용자의 동작과 의도를 더욱 정밀하게 파악할 수 있다. 가상 환경에서 자연스러운 이동을 구현하는 데 이번 연구 성과가 활용될 수 있을 것으로 기대된다.

STViT 알고리즘을 통해 ‘뛰기, 행진, 걷기, 살금살금걷기, 서있기, 앉아있기’ 등을 구분할 수 있다. 제안한 알고리즘으로 여러 가지 행동을 구분할 수 있기 때문에 VR 게임에 좀 더 몰입할 수 있다. [사진=GIST]

가상현실에서의 자연스러운 이동은 VR 환경의 몰입감과 상호작용성을 크게 향상시키는 기본적 요소로서 이 분야에 대한 다양한 연구가 진행돼 왔는데 해결이 필요한 문제가 여전히 남아 있었다.

가장 큰 문제는 가상 공간과 달리 현실 공간에는 물리적 한계가 존재한다는 것이다. 이러한 현실 공간의 제약을 극복하기 위해 제자리 움직임을 인식해 가상 환경에서의 움직임으로 구현하는 연구들이 진행돼 왔다.

기존 연구 방법은 사용자의 센서 착용이 필수적이며, 이때 착용된 센서는 사용자의 움직임을 불편하게 할 수 있다. 사용자의 편의성을 위해서는 센서 착용 없이도 사용자의 행동을 정확하게 인식하는 기술이 필요하다.

연구팀은 센서를 통해 얻어진 고해상도 발 압력 데이터를 처리하기 위해 비전 트랜스포머(ViT, 이미지를 작은 조각으로 나누고 각 조각을 분석해 전체 이미지를 이해하는 인공지능 비전 분야 최신 기술) 기반의 새로운 인공지능 모델인 ‘자가 학습 비전 트랜스포머(Self-Teaching Vision Transformer, STViT)’를 개발해 비슷한 동작도 정확하게 구분할 수 있도록 했다.

이 모델은 이전 학습 단계의 지식을 활용해 지속적으로 자신을 업데이트하는 ‘자가 학습’ 방식을 활용했다.

이번 연구 성과는 사용자 인터페이스와 상호작용 방식 측면에서 VR 기술의 수준을 한 단계 끌어올릴 수 있는 중요한 진전을 의미한다. VR을 이용한 교육, 의료, 엔터테인먼트 등 다양한 분야에서의 활용이 기대된다.

몰입감을 높인 VR 기술이 나왔다 [사진=GIST]

의료 분야에서는 환자의 재활 과정을 보다 세밀하게 모니터링하고, 교육 분야에서는 실제와 같은 상호작용을 통한 학습 효과를 극대화할 수 있다.

김경중 교수는 “이번 연구 성과는 웨어러블 장치 없이도 사용자의 동작을 더욱 자연스럽고 편안하게 인식할 수 있는 인터페이스로서의 활용이 기대된다”며 “가상현실에서의 자연스러운 이동성 문제를 해결하고, 더 몰입감 있는 사용자 경험을 제공할 수 있는 새로운 가능성을 열 것으로 기대한다”고 말했다.

GIST 융합기술제학부 김경중 교수가 지도하고 박사과정 이성하·주호택·최윤호, 석사과정 정인식·박동혁 학생이 수행한 이번 연구(논문명 : A Novel Approach for Virtual Locomotion Gesture Classification: Self-Teaching Vision Transformer for a Carpet-Type Tactile Sensor)는 국제 학술대회 ‘IEEE VR Conference 2024’와 한국정보과학회 주관 Top Conference 세션에서 발표됐다.

/정종오 기자(ikokid@inews24.com)