사람에게 배운다⋯ 피지컬 AI 성패, 데이터 확보에 달렸다
이젠 ‘데이터 싸움’⋯ “사람 움직임부터 가상 환경까지 학습”
NC AI, 인간 동작을 로봇 학습용으로 변환

피지컬 인공지능(AI) 시대가 임박하면서 ‘로봇용 학습 데이터’ 확보가 새로운 경쟁 요소로 급부상했다. AI·로봇 기업들은 사람의 작업 영상과 가상 환경을 활용해 학습 데이터를 만드는 등 데이터 수집 방식을 넓히고 있다.
27일 관련 업계에 따르면 해외에서는 피규어가 인간의 작업 영상을 수집하고 있으며, 국내에서는 NC AI가 사람의 움직임과 가상 공간을 활용해 피지컬 AI 학습 데이터 확보 기술을 개발 중이다.
피지컬 AI는 실제 공간에서 물체와 상호작용하며 움직이는 만큼 현실 세계에서 축적되는 행동·상호작용 데이터가 핵심 자원이다. 경험 데이터가 충분하지 않으면 로봇이 산업 현장의 수많은 변수를 학습하고 적응하는 데 한계가 있을 수 있다. 문제는 현실 세계에서 로봇을 반복 가동하거나 로봇이 시행착오를 거치며 데이터를 확보하는 방식이 시간과 비용은 물론 안전상의 제약이 따른다는 점이다. 이에 기업들은 실제 로봇 운용 외에도 다양한 방식으로 학습 데이터를 확보하고 있다.
먼저 피규어는 지난달 로봇 학습 데이터 플랫폼 ‘인덱스’를 공개하고 전 세계에서 사람들의 작업 영상을 수집하고 있다. 요리와 청소 등 집안일부터 공장·물류센터·사무실 업무까지 다양한 인간 동작이 담긴 영상이 수집 대상이다. 피규어에 따르면 현재 108개국에서 1600만 개 이상의 영상을 확보했으며, 하루 기준 약 4.9년치 인간 작업 데이터가 축적되고 있다. 이렇게 확보한 데이터는 피규어의 휴머노이드용 AI 모델 ‘헬릭스’ 학습에 활용되고 있다.

NC AI는 LG전자 등과 협력해 인간의 동작을 로봇 학습용 데이터로 바꾸는 휴머노이드 국책과제를 수행하고 있다. 기존 모션 데이터와 애니메이션 제작 기술을 활용해 ‘범용 모션 트래킹(GMT)’ 초기 학습 데이터를 구축하고, 사람의 움직임을 휴머노이드에 맞게 변환하는 ‘휴먼-로봇 리타게팅’ 기술을 개발 중이다. 사람과 휴머노이드는 관절 구조와 신체 비율이 다른 만큼 관절 한계와 발 지지·균형 조건 등을 반영해 로봇이 실제 수행 가능한 움직임으로 바꾸는 것이 핵심이다.
아울러 현실에서 반복적으로 구현하기 어려운 상황을 가상 환경에서 만들어 학습·검증하는 방식도 개발하고 있다. NC AI는 현대로템과 협력해 무인 장비와 로봇이 다양한 전장 상황을 학습할 수 있는 피지컬 AI 통합 시뮬레이터 개발을 추진 중이다. 월드모델을 기반으로 여러 환경을 가상 공간에 재현해 로봇의 학습과 검증에 활용하는 방식이다.
AI 업계 관계자는 “피지컬 AI 경쟁력은 하드웨어 성능만으로 결정되지 않는다”며 “로봇이 공장과 물류 현장에서 스스로 판단하고 행동하는 시대가 가까워질수록, 로봇에게 ‘무엇을 시킬 것인가’보다 ‘무엇을 어떻게 배우게 할 것인가’가 더 중요한 질문이 될 것”이라고 말했다.
나유진 기자 yujin@viva100.com