GIST, 웨어러블 장치 없이 더 자연스럽고 편안하게 몰입감 높인 VR 기술 개발

STVIT 알고리즘의 전체 구조.

광주과학기술원(GIST)은 김경중 융합기술학제학부 교수팀이 기존의 웨어러블 센서에 의존하던 방식에서 벗어나 고해상도 카펫형 촉각 센서로 사용자의 발 압력 데이터를 상세하게 분석하여 행동을 인식하는 기술을 개발했다고 31일 밝혔다.

가상현실(VR)에서의 자연스러운 이동은 VR 환경의 몰입감과 상호작용성을 크게 향상시키는 기본적인 요소다. 가상 공간과 달리 현실 공간에는 물리적 한계가 존재한다. 이러한 현실 공간의 제약을 극복하기 위해 제자리 움직임을 인식해 가상 환경에서의 움직임으로 구현하는 연구가 활발히 이뤄지고고 있다.

기존 연구에서는 사용자 센서 착용이 필수적이다. 이때 착용된 센서는 사용자의 움직임을 불편하게 할 수 있다. 사용자 편의성을 위해서는 센서 착용 없이도 사용자의 행동을 정확하게 인식하는 기술이 필요하다.

STVIT 알고리즘을 통해 다양한 움직임을 구별.

연구팀은 센서를 통해 얻어진 고해상도 발 압력 데이터를 처리하기 위해 비전 트랜스포머(ViT) 기반의 새로운 인공지능(AI) 모델인 '자가 학습 비전 트랜스포머(STViT)'를 개발해 유사한 동작도 정확하게 구분할 수 있도록 했다. 이 모델은 기존의 데이터 효율적 이미지 변환기(DeiT)와 창 이동 비전 변환기(SwinViT)의 요소를 통합하고 이전 학습 단계의 지식을 활용하여 지속적으로 자신을 업데이트하는 '자가 학습' 방식을 활용했다.

이 기술은 VR 환경에 대한 사용자의 자연스러운 몰입을 돕는다. 정교한 동작 인식 기능은 사용자의 손과 발의 움직임을 정확하게 포착해 가상 세계에서의 상호작용을 실제와 같이 자연스럽게 만들며 VR 경험의 질을 한층 더 끌어올리는 역할을 할 것으로 예상한다.

GIST 연구팀이 제안한 알고리즘을 통해 VR 게임을 즐기는 유저의 모습.

이번 연구 성과는 사용자 인터페이스와 상호작용 방식 측면에서 VR 기술의 수준을 한 단계 끌어올릴 수 있는 중요한 진전을 의미한다. VR을 이용한 교육과 의료, 엔터테인먼트 등 다양한 분야에서의 활용을 기대하고 있다. 예를 들어 의료 분야에서는 환자의 재활 과정을 보다 세밀하게 모니터링하고, 교육 분야에서는 실제와 같은 상호작용을 통한 학습 효과를 극대화할 수 있다.

김경중 교수는 “이번 연구 성과는 웨어러블 장치 없이도 사용자의 동작을 더욱 자연스럽고 편안하게 인식할 수 있는 인터페이스로서의 활용이 가능하다”며 “VR에서의 자연스러운 이동성 문제를 해결하고, 더 몰입감 있는 사용자 경험을 제공할 수 있는 새로운 가능성을 제시할 것”이라고 말했다.

김 교수가 지도하고 이성하·주호택·최윤호 박사과정생, 정인식·박동혁 석사과정생이 수행한 이번 연구는 'GIST-매사추세츠 공과대학교(MIT) AI국제협력사업' 및 '지역의 미래를 여는 과학기술 프로젝트 사업'의 지원을 받아 이뤄졌다. 세계적 학술대회 '국제전기전자공학회(IEEE) VR 콘포런스 2024'와 한국정보과학회 주관 '톱 콘터런스 세션'에서 발표했다.

[왼쪽부터)김경중 교수, 주호택·이성하 박사과정생.

광주=김한식 기자 hskim@etnews.com