서울대 이동준 교수팀, 다양한 작업·환경에서 손동작 추적 기술 개발

(사진 왼쪽부터) 서울대 공과대학 기계공학부 이용석 박사((현) 삼성리서치), 도원경 연구원((현) 스탠퍼드대), 윤한별 연구원((현) UCLA), 허진욱 연구원, 이원하 연구원((현) 삼성전자), 이동준 교수

서울대 공과대학(학장 이병호)은 기계공학부 이동준 교수 연구팀이 강건하고 정확한 손동작 추적기술인 VIST(visual-inertial skeleton tracking)를 개발했다고 30일 밝혔다.

이 기술은 로봇뿐만 아니라 가상·증강현실, 스마트공장, 재활 등 다양한 산업에서 사용자 인터페이스에 손과 손가락의 활용 가능성을 제시한 연구로 인정받았다. 국제 저널 '사이언스 로보틱스(Science Robotics)'에 9월 29일자로 게재됐다.

손과 손가락을 다채롭고 정교하게 사용하는 것은 인간의 가장 중요한 특징이지만 실제 디지털 환경에서 추적 및 구현이 어렵다. 현재 로봇제어나 가상현실의 사용자 인터페이스에서는 태블릿 평면 위 움직임만을 제어할 수 있거나 컨트롤러를 움켜쥐고 주먹으로 아바타를 제어하는 식이다. 3차원에서 움직이는 풍부한 손과 손가락의 움직임을 활용할 수 없다.

연구팀이 개발한 손동작 추적 VIST 시스템 및 동작 개념도, 이미지=서울대 공대

이동준 교수 연구팀이 개발한 VIST 기술은 현재 기술이 가진 한계를 해결하는 최초의 기술이다. 7개의 관성센서와 날염이 가능한 37개 마커가 장착된 장갑과 머리에 쓴 카메라 정보를 상보적으로 융합했다. 물체 조작 시 빈번하게 나타나는 영상가림이나 전자장비·철구조물 근처에서 발생하는 지자기교란, 가위나 전동드릴, 촉각장비 착용에 따른 접촉에도 강건하고 정확하게 손과 손가락 동작을 추적할 수 있다.

많은 손가락이 빠르고 복잡하게 움직이는 손동작에서는 카메라가 마커를 놓쳐서 추적이 어렵다. 연구팀은 관성센서를 활용해 카메라 마커 추적 성능을 높이고 동시에 카메라 정보를 활용해 관성센서 정보 발산을 교정했다. 손동작 추적의 강건성과 정확도를 동시에 달성한 “영상관성센서 강결합융합(tightly-coupled fusion) 기반 다수의 골격체를 추적하는 기술”이 VIST 핵심이다.

손동작 추적 VIST기술 활용 예시: 원격제어, 협동로봇, 군집제어, 가상/증강현실

이동준 교수는 “VIST 손동작 추적기술은 로봇손이나 협동로봇, 군집로봇을 손과 손가락을 사용하여 직관적이고 효율적으로 제어하게 해줄 것이고, 동시에 가상현실, 증강현실, 메타버스 등에서도 자연스러운 상호작용을 가능하게 해줄 것으로 기대된다”라며 “기존 제품대비 가벼운 무게(55g), 저렴한 가격(재료비 100달러), 높은 정확도(1cm정도 추적오차) 및 내구성(세탁가능)으로 향후 상용화 가능성도 크다”라고 말했다.

이 연구는 과학기술정보통신부 기초연구사업(중견연구) 및 한국연구재단 선도연구센터의 지원을 받아 수행됐다.

김명희기자 noprint@etnews.com