로봇이 동영상 보고 가사일을 배웠다

미국 카네기 멜론대 로봇공학연구소
'CVPR 2023'서 영상학습 AI 기술 공개
일상적인 행동 동영상으로 25분만에 학습
서랍·오븐 문 열고 냄비·야채 들어올려

미국 카네기 멜론대(CMU) 로봇공학연구소팀이 영상 학습 인공지능(AI) 기술 'VRB'를 사용해 로봇에게 물체와 상호 작용하는 방법을 가르쳤다. 카네기 멜론대 제공

[파이낸셜뉴스] 로봇이 가정에서 작업하는 일상적인 사람들의 동영상을 보고 가사 일을 배울 수 있게 됐다. 즉 로봇이 앞으로 인터넷과 유튜브에 있는 동영상으로 다양한 행동들을 학습할 수 있다는 의미다.

미국 카네기 멜론대(CMU) 로봇공학연구소는 캐나다 밴쿠버 컨벤션 센터에서 열리는 세계 최대 컴퓨터 비전 학회 'CVPR 2023'에서 로봇의 영상 학습 인공지능(AI) 기술 'VRB'를 20일(현지시간) 공개했다.

실제로 로봇이 서랍이나 오븐의 문을 열고, 가스레인지 위의 냄비를 들어 올렸다. 또 전화기나 야채, 캔을 드는 등 12가지 작업을 해냈다. 이 기술로 로봇이 행동을 학습하는데 25분 밖에 걸리지 않았다.

CMU 컴퓨터과학 학부 딥락 파타크 교수는 "로봇이 영상을 관찰해 사람들이 다양한 물건을 사용하는 방식을 배울 수 있다"며 "이러한 학습을 통해 우리는 2대의 로봇이 다양한 환경에서 유사한 작업을 할 수 있는 모델을 훈련시켰다"고 말했다.

지금까지 로봇 훈련법은 사람들에 의한 수동적인 작업 시연이나, 시뮬레이션 환경에서의 다양한 훈련이 필요하다. 하지만이 두 가지 방법은 모두 시간이 많이 소요되며, 실패할 가능성도 있다.

연구진은 이전 연구에서 로봇 학습 기술 'WHIRL'을 개발했었다. 이 기술은 사람들이 작업을 완료하는 것을 로봇이 관찰해 학습하는 기술이지만 로봇과 같은 환경에서 작업하는 사람의 모습이 필요했다.

연구진이 이번에 공개한 VRB 기술은 WHIRL을 업그레이드했다. 이 새로운 학습모델은 사람이 로봇과 같은 환경에서 직접 시연하지 않아도 된다. 연구진은 "로봇이 작업을 배우기 위한 연습시간이 필요하지만 새로운 작업을 학습하는 시간은 25분 밖에 걸리지 않는다"고 설명했다.

연구진은 자아4D(Ego4D)와 에픽 키친(Epic Kitchens)이라는 동영상 데이터셋을 사용했다. Ego4D는 자기중심적인 일상 활동 동영상 4000시간이 담겨 있으며, 에픽 키친에는 요리, 청소 및 기타 주방 작업을 담은 동영상이 있다.

CMU 로봇학과 시카르 발 박사과정생은 "로봇이 인터넷과 유튜브에 있는 방대한 양의 동영상으로 학습할 수 있다"고 말했다.

연구진은 로봇이 물체와 상호작용하는 방법을 가르치기 위해 '행위유발성(affordances)' 개념을 적용했다. 행위유발성은 심리학 용어로, 환경이 인간이나 동물에게 행위를 유발하는 의미있는 정보를 제공하는 것을 말한다. 이 개념은 디자인과 인간-컴퓨터 상호작용으로 확장돼 개인이 깨닫는 잠재적 행동을 가리킨다.

VRB에서 행위유발성은 인간의 행동을 기반으로 로봇이 어떤 위치에서 어떻게 물체와 상호작용할 수 있는지를 정의한다. 예를 들어, 로봇이 사람이 서랍을 열 때를 관찰하면, 로봇은 핸들과 서랍의 직선으로 움직이는 것과 같은 접촉 지점을 식별한다. 로봇은 사람이 서랍을 여는 동작을 여러 비디오로 관찰한 후, 어떤 서랍이든 열 수 있는 방법을 결정할 수 있다.
#로봇 #인공지능 #동영상 #CVPR