로봇이 '손끝 감각' 배운다…GIST, 정밀 작업 로봇 AI 기술 개발[과학을읽다]

휴머노이드·제조 로봇 핵심 기술…기어 조립·케이블 연결 성공률 83%

로봇이 사람처럼 물체를 만질 때 느끼는 '손끝의 힘 감각'까지 학습해 정밀 작업을 수행할 수 있는 인공지능(AI) 기술이 개발됐다. 향후 휴머노이드 로봇이나 제조 로봇이 사람의 손작업을 대신하는 차세대 로봇 기술의 핵심 기반이 될 수 있다는 평가다.

이규빈 광주과학기술원(GIST) AI융합학과 교수 연구팀은 사람이 물체를 만질 때 느끼는 힘과 접촉 감각까지 학습해 로봇이 정밀 조작 작업을 수행할 수 있도록 하는 AI 기술을 개발했다고 10일 밝혔다.

손힘 측정 장치(ManipForce) 시스템 구성도. 사람이 직접 물체를 다루는 동안 손의 움직임, 힘, 작업 영상을 동시에 기록하는 장치다. 장치는 두 대의 RGB 카메라 손목에 착용한 힘·토크 센서(F/T) 3D 마커로 손 위치를 추적하는 모듈 물체를 잡고 조작하는 로봇 손 장치로 구성돼 있다. 연구팀 제공

기존 로봇 학습 방식은 대부분 카메라 영상(RGB) 정보만 활용하는 '모방 학습(Imitation Learning)' 방식이었다. 이 때문에 부품을 끼우거나 맞추는 과정에서 발생하는 미세한 저항이나 순간적인 힘 변화를 파악하기 어렵다는 한계가 있었다.

연구팀은 이런 문제를 해결하기 위해 사람이 작업 과정에서 자연스럽게 느끼는 '힘의 감각'까지 로봇 학습에 활용하는 기술을 개발했다.

연구팀이 개발한 '손힘 측정 장치(ManipForce)'는 사람이 직접 손으로 작업하는 모습을 기록하면서 △두 대의 카메라로 촬영한 작업 영상 △손목 센서로 측정한 힘과 회전력(Force-Torque) △손의 움직임과 위치 정보를 동시에 수집한다.

실제 작업 성공률 비교도. FMT를 적용한 로봇은 기어 조립, 배터리 삽입 등 6가지 접촉 작업에서 평균 83%의 성공률을 달성했다. 이는 영상 정보만 사용한 기존 방식(약 60%)보다 훨씬 높은 수치다. 연구팀 제공

영상은 초당 30회, 힘 정보는 초당 200회 이상 측정해 눈에 보이는 장면뿐 아니라 접촉 순간 발생하는 미세한 힘까지 정밀하게 기록할 수 있도록 설계됐다. 또한 3차원(3D) 마커 기반 위치 추적과 장치 자체 무게 영향을 제거하는 중력 보상 기능을 적용해 실제 접촉에서 발생한 힘만을 정밀하게 측정하도록 했다.

연구팀은 이렇게 수집한 영상과 힘 데이터를 함께 학습할 수 있도록 '주파수 인식 속도-감각 통합 AI 모델(Frequency-Aware Multimodal Transformer, FMT)'도 개발했다.

영상 데이터는 초당 30회, 힘 데이터는 초당 200회 이상 측정되기 때문에 두 데이터의 시간 간격이 서로 다르다. FMT 모델은 이러한 서로 다른 센서 주파수의 데이터를 각각 분석한 뒤 비교·통합해 학습하도록 설계됐다.

이를 통해 로봇은 물체의 위치와 접촉 상황을 동시에 이해하고 접촉이 많은 정밀 조작 작업에서도 안정적인 동작을 수행할 수 있다.

연구진 사진. 왼쪽부터 이성주 박사, 이규빈 교수, 이건협·노상준 박사과정생, 김강민 석·박통합과정생, 백승혁 선임연구원(한국기계연구원), 이영진 석사과정생. GIST 제공

연구팀은 기어 조립, 박스 뒤집기, 배터리 삽입, 인터넷 케이블 플러그 연결, 뚜껑 열기, 배터리 분리 등 6가지 작업을 실제 로봇 실험으로 검증했다. 각 작업을 20회씩 수행한 결과 평균 성공률은 약 83%를 기록했다. 이는 RGB 카메라 영상만 활용한 기존 방식(약 20%)보다 크게 향상된 성능이다.

이규빈 GIST AI융합학과 교수는 "이번 연구는 카메라 영상에만 의존하던 기존 로봇 학습 방식의 한계를 넘어 힘 감각 데이터를 활용한 새로운 AI 학습 프레임워크를 제시한 것"이라며 "향후 제조 현장의 부품 조립이나 커넥터 체결뿐 아니라 가정 환경에서의 배터리 교체 등 섬세한 힘 제어가 필요한 다양한 작업에서 로봇 활용을 크게 확장할 수 있을 것"이라고 말했다.

이번 연구는 산업통상자원부와 한국연구재단의 로봇산업기술개발사업 지원을 받아 수행됐으며, 연구 결과는 국제 학술 서버 'arXiv'에 사전 공개됐다. 논문은 로봇공학 분야 국제 학술대회인 'IEEE 국제 로봇·자동화 학술대회(ICRA 2026)'에서 발표될 예정이다.

김종화 기자 justin@asiae.co.kr