집 정리 알아서 해주는 로봇 나오나…꿈 같은 이야기 현실된다는데

오성회 서울대 교수팀
22만장 데이터 ‘족집게 과외’
물건 스스로 정리하는 로봇

[츨처=AI생성 이미지]

“로봇이 내 책상 좀 알아서 치워줬으면….” 꿈같은 이야기가 현실이 될 날이 머지않았다. 오성회 서울대 공과대학 전기정보공학부 교수 연구팀이 로봇 스스로 테이블 위 물건들을 식별하고 가장 효율적인 방식으로 정돈하는 인공지능(AI) 기술을 개발했다. 이제 로봇이 인간의 지시 없이도 ‘깔끔함’을 이해하고 자율적으로 물건을 정리정돈하는 시대가 열린 것이다.

AI에게 학습시킨 ‘정리정돈의 미학’

그동안 AI 기반의 테이블 정돈 기술은 상용화에 여러 한계를 겪어왔다. 가장 큰 이유 중 하나는 ‘정돈’이라는 개념이 사람마다 다르고 주관적이어서 AI가 학습하기 어렵다는 점이다. 기존 연구들은 로봇이 미리 정해진 목표 이미지에 맞춰 물건을 배치하는 데 초점을 맞춰 언제 어디서든 알아서 치우는 자율적인 능력에는 역부족이었다. 서비스 로봇이 가정이나 사무실에서 보편화되려면 사용자의 별도 명령 없이도 스스로 물건을 정돈할 능력이 필수적이었다.

오 교수팀은 이러한 한계를 돌파하기 위해 ‘깔끔하다’는 주관적인 개념을 AI가 이해할 수 있다면 스스로 정돈하는 기술 개발이 가능하리라는 아이디어에서 연구를 시작했다.

22만장 데이터 ‘족집게 과외’, 정리 점수 판별기

TSMCTS 기법을 사용해 로봇이 다양한 상황에서 정리정돈을 수행한 결과[사진=서울대 공대]

연구팀은 먼저 로봇이 ‘깔끔함’을 이해하도록 이미지만 본 후 해당 장면의 정돈 정도를 점수화하는 모델인 ‘정리정돈 점수 판별기(Tidiness Discriminator)’를 개발했다. 이를 위해 카페 테이블, 사무실 책상, 식탁, 욕실 공간 등 4곳의 환경과 물체 170종을 활용해 구축한 22만4225장의 ‘책상 정리정돈 데이터셋(Tabletop Tidying Up Dataset)’을 만들었다. 이 데이터셋으로 학습한 로봇은 목표 이미지 없이도 책상의 정돈 상태를 객관적으로 평가할 수 있게 됐다.

이어 연구진은 로봇이 직접 경험하지 않고 저장된 데이터만으로 학습하는 오프라인 강화학습과 체스·바둑 AI에 쓰이는 최적의 수를 찾는 기법인 몬테카를로 트리 탐색을 결합했다. 이를 통해 다양한 정리정돈 전략을 탐색하고 실행하는 ‘MCTS 기반 계획기’를 개발했으며, 최종적으로 로봇이 스스로 효율적인 정리 계획을 세워 실행할 수 있는 ‘TSMCTS(Tidiness Score-Guided Monte Carlo Tree Search)’ 알고리즘을 완성했다.

‘인간 수준’ 정리 능력 입증…상용화 ‘청신호’

연구진은 TSMCTS 알고리즘이 탑재된 로봇을 시뮬레이션한 후 실제 환경에서 구현해 성능을 검증했다. 시뮬레이션에서는 5곳 환경의 총 750개 시나리오에서 평균 성공률 88.5%를 달성했다.

더 놀라운 결과는 실제 로봇 실험에서 나타났다. 카페 테이블, 사무실 책상, 식탁, 욕실 공간 등 4곳의 환경에서 진행된 총 20개 시나리오에서 평균 성공률 85%를 기록하며 상용화 가능한 수준의 성능을 입증했다.

특히 17명이 참여한 블라인드 테스트에서 TSMCTS는 사람 역량에 가장 근접한 정리정돈 능력을 보였다.

가정용 청소 로봇부터 물류·제조 현장까지

이번 연구를 통해 개발된 기술은 인간의 지시 없이도 로봇 스스로 정리정돈을 수행할 수 있어 활용 가치가 매우 높다. 가정용 청소 로봇, 호텔 룸서비스 로봇 개발에 즉시 적용될 수 있을 것이라는 게 연구진의 판단이다. 물류·제조 현장의 자동화에도 혁신을 가져올 수 있을 것으로 보인다. 다양한 크기의 부품·제품을 깔끔하게 배열해야 하는 키팅(kitting)·패킹 라인에서 작업 준비 시간을 단축하고 품질 편차를 줄이는 데 크게 기여할 전망이다.

오 교수는 “로봇 스스로 정리정돈하는 AI 기술은 앞으로 서비스·가정용 로봇, 카페·레스토랑 자동화, 물류·생산 라인 등 다양한 분야에서 응용될 수 있을 것”이라며 “향후 대규모언어모델(LLM)과 결합해 물체의 기능·맥락까지 이해하는 정리정돈 기술로 발전시킬 계획”이라고 밝혔다.

이번 연구 결과는 지난달 로봇 분야 국제학술지 ‘IEEE 로봇 및 자동화 레터(IEEE Robotics and Automation Letters’에 게재됐다.