소리 안 내도 음성 인식..농아인 의사소통 길 열린다

피부 움직임 실리콘으로 파악
입 모양만으로 분류..정확도 높아
전시상황 등에도 응용 가능

말 할 때 얼굴 근육의 움직임에 기반해 말하려는 내용을 파악할 수 있는 기술이 개발됐다. 청각 등에 장애를 가진 농아인들이 자유롭게 의사소통할 수 있는 기반이 될 것으로 기대된다.

6일 연세대학교 전기전자공학과 유기준·황도식·강홍구 교수 연구팀은 전례 없이 많은 단어를 높은 정확도로 분류하는 '침묵형 음성인식 시스템'을 개발했다고 밝혔다. 얼굴 피부의 움직임을 효과적으로 분석해 음성을 내지 않고 발화된 100개의 단어를 최대 90% 정확도로 분류했다.

이번 성과는 단결정 실리콘에 기반한 고성능 피부 부착형 스트레인 게이지와, 딥러닝 기반 스트레인-단어 변환 알고리즘을 결합해 거뒀다. 스트레인 게이지에는 기존 금속기반 소자에 비해 수십배 높은 실리콘을 초박막 구조로 개량해 신축성을 부여했다. 기존 시스템에 비해 센서 사이즈도 수백배 작아 최종적으로는 음소 단위까지 구별해 일상의 모든 문장을 인식할 수 있을 것으로 기대된다. 연구 결과는 네이처 커뮤니케이션즈에 게재됐다.

유 교수는 "농아 장애인들이 수화를 사용하지 않고 입 모양 움직임 학습을 통해 의사소통을 할 수 있게 한 신개념 플랫폼"이라며 "장애인의 삶의 질 향상과 사회문제 해결에 일조할 수 있을 것"이라고 밝혔다.

청각과 언어소통에 장애가 있는 농아인의 수는 전 세계 인구의 5% 수준으로 추정된다. 이들은 수화와 같은 비언어소통에 의존하지만 표현의 양에도 한계가 있고, 수화를 배우지 않은 사람과의 의사소통도 어렵다. 음성 없이 입 모양만으로 언어소통을 가능하게 하는 침묵형 음성인식에 대한 연구가 필요한 이유다.

가장 널리 쓰이는 방법은 카메라를 이용해 말할 때의 얼굴 움직임을 촬영하고, 빅데이터를 구축하는 '비전 인식 기술'이다. 최신 카메라 기기의 높은 해상도로 많은 정보량에 기반해 단어 등을 구분할 수 있다는 장점이 있지만 촬영 각도나 빛의 유뮤, 빛의 각도 등에 영향을 받아 움직임이 많은 일상 상황에서는 사용이 어려웠다. 기존 피부 부착형 스트레인 게이지를 활용한 방법은 저항의 변화에 기반했지만, a, o, u 등 수 개의 발음을 식별하는 데 그쳤다.

연구팀은 근육의 움직임에 기반해 센서 자체의 물리적 특성 변화를 측정했다. 체내로부터 피부로 배출되는 땀이나 피지 등 노폐물에 의해 센서 성능이 저하되지도 않는다.

농아인 뿐 아니라 전시 상황 등 주위의 소음이 심해 음성 신호에 왜곡이 될 경우에도 이번에 개발된 기술이 활용될 수 있을 것으로 전망된다.

황 교수는 "향후 잠재력과 확장가능성이 이 프로젝트의 가장 큰 키워드"라며 "음소 단위 식별 시스템 등 후속 연구개발에 집중하고 있다"고 설명했다.

[정희영 기자]

[ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지]