반지처럼 끼는 AI 수어 번역기…장갑 없이도 88% 정확도

청각, 언어 장애인의 주요 소통 수단인 수어를 사용하는 모습. 전 세계에는 300가지 이상의 수어가 존재한다. 게티이미지뱅크 제공

반지처럼 손가락에 끼는 웨어러블 기기로 수어를 실시간 번역하는 시스템이 개발됐다. 

박재진·신예지 연세대 전기전자공학부 연구원 등 연세대·한국외대 공동 연구팀은 블루투스로 연결된 반지형 수어 번역 기기를 개발해 국제학술지 '사이언스 어드밴시스'에 1일(현지시간) 발표했다.

수어는 전 세계 청각·언어 장애인의 주요 소통 수단이지만 수어를 할 줄 아는 비장애인은 많지 않다. 기존 수어 번역 기기는 대부분 장갑 형태로 손 전체를 감싸거나 센서 사이를 전선으로 연결해야 해 손가락 움직임이 제한되고 장시간 착용이 불편하다. 카메라 기반 시스템은 조명이나 배경에 따라 인식률이 떨어진다.

연구팀이 개발한 반지형 수어 번역 시스템(WRSLT)은 손가락 7개에 소형 링형 센서를 각각 독립적으로 끼는 방식이다. 각 반지는 블루투스로 무선 연결돼 센서 간 전선이 전혀 없어 손가락을 자유롭게 움직일 수 있다. 센서는 손가락의 기울기와 움직임을 측정하는 기기를 내장했다. 한 번 충전으로 약 12시간 사용할 수 있다.

연구팀은 인공지능(AI)을 이용해 인식률 문제를 해결했다. 손 근육에서 나오는 전기 신호 대신 손가락이 움직일 때 중력 방향이 어떻게 바뀌는지를 측정해 수어를 인식하는 방식을 택했다. 

근육 신호는 사람마다 차이가 커 쓸 때마다 개인별로 따로 조정해야 하지만 중력 기반 방식은 누가 써도 안정적인 데이터를 얻을 수 있다. 여기에 AI 모델을 더해 훈련에 참여하지 않은 새로운 사용자도 별도 설정 없이 바로 사용할 수 있도록 했다.

새로운 기기는 미국 수어(ASL) 100개 단어와 국제 수어(ISL) 100개 단어를 인식하는 실험에서 각각 88.3%와 88.5%의 정확도를 보였다. 시스템 개발에 참여하지 않은 새로운 사용자를 대상으로 한 결과여서 실사용 환경에서의 성능에 가까운 결과다. 

기존 무선 수어 번역 기기가 대부분 50개 이하의 단어만 다룰 수 있었던 것에 비해 인식 가능한 어휘 수를 두 배 이상 늘렸다. 여러 단어를 이어 문장을 만드는 연속 수어 동작에서도 90% 이상의 정확도로 번역했다.

연구팀은 "수어 번역 외에도 가상현실 제어, 재활 모니터링 등 다양한 손동작 기반 인터페이스에 응용될 수 있다"고 밝혔다.

<참고> 
doi.org/10.1126/sciadv.aec8995

[임정우 기자 jjwl@donga.com]