[대덕포럼] 가상현실 속 전신추적 기술

길연희 한국전자통신연구원(ETRI) 지능형실감콘텐츠연구실장

가상현실(VR)의 매력은 현실에서 하기 힘든 경험을 가상의 몰입환경에서 실감 나게 할 수 있다는 점일 것이다. 이러한 장점으로 인해 최근 몇 년 사이 게임을 비롯해 엔터테인먼트, 교육훈련, 의료 등 다양한 분야에서 가상현실의 활용이 증가하고 있다.

가상현실은 HMD(Head Mounted Display)를 통해 사용자가 시청각적으로 가상 공간에 몰입하는데 중점을 두고 있으나, 가상 공간상 사용자 신체에 대한 제어는 부족한 현실이다.

VR 헤드셋을 착용한 상태에서 사용자의 시야는 외부 환경으로부터 완전히 차단된다. 따라서, 사용자는 주변 현실을 볼 수 없으며, 대신 VR 헤드셋에서 제공하는 입체 디스플레이에 나타나는 가상 환경만을 시각적으로 인식할 수 있다. 당연히 현실 세계에 있는 자신의 신체를 확인하는 것도 불가능해진다.

가만히 앉아서 시청하는 3차원 입체영상이나 360 비디오와 같이 시청각적인 체험만을 제공하는 콘텐츠의 경우, 사용자의 신체가 시각적으로 나타나지 않아도 큰 문제가 되지 않을 수 있다. 그러나 게임, 교육, 훈련 등 사용자와의 인터랙션이 필요한 콘텐츠에서는 사용자의 신체를 시각적으로 표현하는 것이 반드시 필요하다. 사용자의 손과 몸이 가상 세계에 나타나지 않는다면 객체를 터치하거나 움직이는 등의 상호작용이 원천적으로 어려워질 수 있기 때문이다. 내 손이 보이지 않는데 어떻게 눈 앞의 객체를 터치하거나 움직일 수 있겠는가.

가상현실에서 사용자의 신체를 표현하는 것뿐만 아니라, 사용자의 신체를 정확하게 제어하는 것도 중요하다. 실제로 내가 움직이는 것과 일치하는 방식으로 가상세계의 신체가 움직일 때 사용자는 자신이 가상 신체를 실제로 제어하고 있다는 느낌을 받을 수 있다.

가상세계의 신체, 즉 아바타가 사용자의 신체임을 느끼게 해주는 '소유감(SO)'과 사용자가 아바타를 직접 통제하고 있는 느낌인 '통제감(SA)'은 실감 체험에서 필수적인 요소다. 사용자가 아바타를 자신의 확장으로 생각하고 통제할 수 있을 때, 가상 세계에서의 상호작용과 몰입도가 향상되며, 사용자 경험은 더욱 현실적이고 인터랙티브해진다.

한편, 현재 가상 공간상 사용자 신체는 컨트롤러와 HMD를 이용해 손과 머리의 위치 및 회전 정보를 획득하고 신체 나머지 부분은 역운동학에서 추론되고 있어 전신에 대해서는 추정이 불가하거나 부정확한 추정이 발생한다. 사용자의 하반신에서는 데이터를 획득할 수 없기 때문에 별도의 추적장치를 발에 부착하거나, 상반신 동작에 맞춰 하반신을 시뮬레이션하는 방법이 제시되고 있지만, 사용자 입장에서 SO나 SA에 대한 경험 부족으로 VR에서 몰입감을 떨어뜨릴 수 있다.

최근 딥러닝 기술 발달로 3차원 포즈 추정에 대한 정확도가 향상되고 있다. 초기 연구에서는 대부분 외부 센서로부터 사용자 영상을 획득한 후 3차원 시점에서 포즈를 생성하는 방식이었으나(Outside-In 방식), 최근에 사용자 머리 부근에 카메라를 두고 근접한 영상을 획득한 후 Egocentric 시점에서 포즈를 추정하는 기술(Inside-Out 방식)들이 등장하고 있다.

Inside-Out 방식은 사용자의 이동이 자유롭다는 장점과 함께 경량화를 통해 HMD에 탑재할 수 있어, 별도의 센서 설치 없이 HMD 착용만으로 전신 추적이 가능해진다는 장점이 있다. 하지만, 사용자의 머리 부근에서 아래를 내려다보는 시점으로 전신 데이터를 얻는 것은 영상 센서의 화각으로 인해 쉽지 않은 문제다. 이에, Egocentric 시점에서 최대한 넓은 화각의 영상을 획득하기 위해 여러 연구에서 어안(Fisheye) 카메라를 이용하고 있으나, 왜곡된 자기 중심적 관점에서의 단안 설정으로 인한 모호성으로 인해 부정확한 정확도와 불안정성이 나타나고 있다.

Inside-Out 방식은 아직 기술적으로 해결해야 할 점이 많은 도전적인 연구분야이나, 환경 제약을 극복하고 광범위한 공간에서 활용할 수 있다는 장점으로 인해 점점 주목받고 있다. 딥러닝과 다양한 센서 기술의 발전을 통해 성능이 개선된다면 더 나은 아바타 소유감과 통제감을 제공하는 기술로 각광 받게 될 것이라 기대되며, 이는 가상 현실에서의 몰입도와 사용자 경험을 향상시키는 데 핵심적인 역할을 할 것이다.

길연희 한국전자통신연구원(ETRI) 지능형실감콘텐츠연구실장