“목소리 없이도 소통 가능” AI로 목소리 되살린다

POSTECH 제공

[파이낸셜뉴스] 목 근육의 미세한 움직임을 빛으로 읽고, 인공지능(AI)을 이용해 실제 목소리로 되살리는 기술이 공개됐다.

3일 POSTECH(포항공과대학교)에 따르면 POSTECH IT융합공학과·기계공학과·전자전기공학과·융합대학원 박성민 교수, 기계공학과 홍성욱 박사 연구팀은 현지시간 지난 3월 23일 사이언스(Science) 파트너 저널 의공학 분야 학술지인 ‘사이보그 및 바이오닉 시스템(Cyborg and Bionic Systems)’ 온라인판에 이 같은 기술을 소개했다.

이번 연구의 출발점은 사람이 말할 때 목 주변에서 일어나는 작은 변화에 있다. 소리를 만드는 건 성대만이 아니다. 발화할 때마다 목 주변 근육과 피부도 함께 움직이며, 그로 인해 피부 위에는 눈에 보이지 않는 '움직임 지도'가 그려진다. 연구팀은 바로 이 미세한 움직임 속에 사람이 말하려는 정보가 담겨 있다는 점에 주목했다.

이 정보를 읽어내기 위해 연구팀은 ‘다축 변형 매핑(Multiaxial strain mapping)1) 센서’를 개발했다. 부드러운 실리콘 소재 위에 기준이 되는 작은 점들(marker)과 소형 카메라를 결합한 이 센서는 목에 간편하게 착용할 수 있고, 피부의 아주 미세한 움직임까지 정밀하게 포착한다. 착용 위치와 조임 정도를 개인에 맞게 조절할 수 있고, 이는 일상 환경에서도 안정적으로 작동한다.

센서가 수집한 움직임 패턴은 AI가 분석한다. 사용자가 말하려는 단어나 문장을 추정하고, 개인의 음성 특징을 학습한 음성 합성 기술과 결합해 실제 목소리로 재생한다. 소리를 내지 않아도 '말'을 읽고 음성으로 되돌려주는 것이다.

연구팀은 웨어러블(wearable) 형태의 주변 소음이 심한 공장과 같은 환경에서도 높은 정확도로 음성을 재구성했다.

이는 성대 질환이나 후두 수술로 목소리를 잃은 환자의 의사소통 보조는 물론, 마이크나 무전기 없이 소통이 가능한 산업 현장용 기술, 더 나아가 도서관이나 회의실에서 소리 없이 대화하는 '조용한 커뮤니케이션'까지 다양한 분야로의 응용이 기대된다는 설명이다.

연구를 이끈 POSTECH 박성민 교수는 "이 기술로 발성 장애 환자들이 자신의 목소리를 되찾는 날을 앞당길 수 있기를 바란다"라며, "발성 장애 환자는 물론, 주변 소음이 심한 공장이나 산업 현장, 나아가 소리 없는 대화까지 응용 범위가 넓다는 점에서 주목할 만한 기술"이라고 전했다.

jiany@fnnews.com 연지안 기자