“들리지 않아도 문화체험 가능” 청각장애인 돕는 따뜻한 과학기술

[사이언스샷] 수어 아바타로 전시해설 제공
촉각 장갑 끼면 악기 음정도 체감

배재학당역사박물관 수어번역 서비스. 해설자 아바타가 소월의 시 진달래꽃을 수어로 전달하고 있다./GIST

정부 연구기관들이 청각장애인도 자유롭게 문화 생활을 누리고 의료 서비스를 받을 수 있도록 다양한 기술을 개발했다. IT(정보기술) 발전의 혜택을 장애인도 누릴 수 있도록 한 따뜻한 과학기술이다.

광주과학기술원(GIST) 한국문화기술연구소는 “다음 달 4일부터 29일까지 서울 중구 배재학당역사박물관에서 청각장애인을 위한 전시해설 수어(手語) 변환 실증 서비스를 실시한다”고 27일 밝혔다.

청각장애인이 수어 번역 체험용 장비를 대여받아 전시해설문에 부착된 QR 코드를 인식시키면 가상공간의 해설자 아바타(분신)가 한국수어로 번역해준다. 총 13개의 전시해설 수어 변환 서비스를 체험할 수 있다. 전시 해설사의 음성 해설도 수어로 번역하는 서비스 체험 공간도 마련됐다.

◇소월의 진달래꽃도 수어로 전달

수어는 청각 장애가 있는 사람들이 손의 움직임으로 의미를 전달하는 언어이다. 청각장애인을 위해 음성을 문자로 변환해 주는 서비스는 보편화 됐으나 청각장애인들의 제1 언어인 한국수어로 바꿔주는 서비스는 부족한 실정이다.

GIST 한국문화기술(CT)연구소 김태욱 선임연구원은 “국내 청각장애인의 32%는 한글 문맹이라 전시해설문을 해독하지 못한다”라며 “수어 해설자가 있는 곳도 있지만 매우 제한적”이라고 말했다.

CT연구소는 청각장애인들이 전시해설문을 바로 이해할 수 있도록 수어로 바꾸기로 했다. 먼저 박물관과 미술관, 전시관에 있는 해설문을 한국수어로 번역했다. 김태욱 선임연구원은 “한글과 한국수어는 문법이 달라 번역 과정이 필요하다”라고 말했다.

CT연구소는 전시해설문의 한글 문장을 수어의 손동작이나 얼굴 움직임을 나타내는 숫자 데이터로 변환했다. 이를 가상공간에 만든 해설자 아바타에게 입력했다. 최종적으로 3D 모션 교정 기술을 적용해 해설자 아바타가 몸동작으로 수어를 보이도록 했다.

이번 실증서비스에서는 시인 김소월의 대표작 ‘진달래 꽃’도 청각장애인에게 수어 번역 서비스로 구현했다. CT연구소 전문구 소장은 “고도화된 수어 서비스를 통해 청각장애인도 소외됨 없이 문화를 향유할 수 있기를 기대한다”라고 말했다.

아바타가 수어로 생활 속 거리두기 지침을 표현하는 모습./ETRI

◇병원 정보 얻고, 음악 공연도 체감

앞서 한국전자통신연구원(ETRI)은 청각장애인의 병원 출입을 돕는 아타바 수어 서비스를 개발했다. 지난해 4월부터 충남대학교병원 출입문 키오스크에 코로나19 방역관리 절차를 안내하는 아바타 수어 서비스를 제공했다.

코로나19 대유행 동안 의료 기관의 방역 관리 절차와 출입 절차가 복잡해졌다. 의료 기관들은 관련 정보를 키오스크(무인 단말기)에 안내했지만 디지털 정보 이용에 취약한 장애인들은 의사소통에 한계가 있었다.

ETRI는 충남대학교병원과 협력해 병원 입구에서 필수적으로 거쳐야 하는 절차를 안내하는 아바타 수어 서비스를 개발했다. 애니메이션에 나오는 가상 인물이 손동작은 물론, 입술을 당기는 모습, 얼굴을 좌우로 기울이는 모습처럼 다양한 몸동작으로 출입 절차를 전달한다. ETRI 김명준 원장은 ”미디어 지능화 기술을 활용해 기존 방송 콘텐츠 뿐 아니라 생활 및 재난 정보까지 제공할 수 있었다”라며 “장애인의 안전과 정보 접근성을 향상하는 데 작은 도움이 되면 좋겠다”라고 말했다.

ETRI 신승용 선임연구원이 촉각 장갑을 끼고 국악 악기의 음정 변화를 손가락으로 전달받고 있다./ETRI

ETRI는 청각장애인이 음악 공연을 몸으로 즐길 수 있는 기술도 개발했다. 연구소는 지난해 12월 촉각 음정 시스템을 이용해 국악 악기의 음정을 실시간으로 청각장애 관람자에게 전달하는 기술을 선보였다.

촉각 음정 시스템은 소리의 주파수 신호를 뽑아내고 촉각 패턴으로 만들어 피부에 전달하는 기술이다. 즉 악기 소리를 몸으로 인식하도록 중계하는 인터페이스이다.

청각장애인이 국내 기업인 비햅틱스에서 개발한 조끼를 착용하면 연주의 박자감을 온몸으로 느낄 수 있다. ETRI의 촉각 음정 시스템이 적용된 장갑을 끼면 악기의 정밀한 음정 변화까지 손가락으로 알 수 있다. ETRI는 촉각 음정 시스템으로 청각장애인을 위한 국악 공연 ‘이음풍류’를 개최했다. 국악의 소리를 시각과 촉각으로 느끼도록 기획된 공연이다.

해외에서 촉각을 이용하여 청각장애인을 위한 라이브 공연을 시도한 적이 있으나 음악의 비트감을 몸으로 체감하는 수준에 그쳤다고 연구소는 밝혔다. ETRI 신형철 휴먼증강연구실장은 “이음풍류처럼 정밀한 악기에서의 음정 변화를 동시에 제공하는 방법으로는 이음풍류 공연이 세계 최초”라며 “이번 기회로 기술 개발에 대한 보람을 느끼고, 나아가 기술 적용 분야에 대한 시야를 넓힐 수 있었다”라고 밝혔다.

- Copyright ⓒ 조선비즈 & Chosun.com -