[신문과 놀자!/어린이과학동아 별별과학백과]촉각-시각 기술 활용해 청각장애인도 음악 즐겨요

세계 첫 청각장애인 아이돌 ‘빅오션’
진동 울려 박자 알려주는 시계 착용
앱으로 음계 확인하며 노래 연습
라이브 공연 즐기는 축제도 개최… AI 아바타가 노래 가사-춤 알려줘

세계 최초의 청각장애인 아이돌 그룹 ‘빅오션’의 멤버 찬연, 지석, 현진(왼쪽부터 시계 방향). 파라스타엔터테인먼트 제공

한국장애인고용공단은 4일 서울 서초구 aT센터에서 진행된 ‘제19회 대한민국 보조공학기기 박람회’에서 ‘빅오션’을 홍보대사로 위촉했습니다. 빅오션은 올 4월 데뷔한 세계 첫 청각장애인 아이돌 그룹이라고 합니다. 데뷔곡 ‘빛(Glow)’은 청량한 보컬과 칼군무로 케이팝 팬 사이에서 화제를 모았는데요. 소리가 잘 안 들리는 상황에서 어떤 기술을 활용해 연습했는지 직접 만나 물어봤습니다.

● 박자는 진동으로, 음정은 암기로

빅오션 멤버들은 인공와우와 보청기 등 청각 보조기기를 착용합니다. 인공와우는 내이(귀의 안쪽 부분) 대신 청신경에 전기 자극을 줘 소리를 듣게 해주는 장치이고, 보청기는 소리의 세기를 증폭시켜주는 장치입니다.

이들은 진동으로 박자를 알려주는 손목시계를 차고 노래와 안무를 연습한다. 파라스타엔터테인먼트 제공

그런데 멤버마다 소리가 들리는 정도가 달라 춤 동작을 맞추는 것이 쉽지 않았다고 합니다. 이 때문에 멤버들은 청각 대신 다른 감각을 이용해 박자를 맞추는 연습을 했습니다. 연습실에 박자에 따라 화면이 번쩍이는 빛 메트로놈을 두고, 손목에는 진동으로 박자를 알려주는 시계를 착용한 겁니다. 그리고 시각과 촉각으로 합을 맞추는 연습을 반복한 끝에 안무를 완성했습니다.

멤버들은 자신이 가진 목소리의 음정을 파악하기 위해서도 색다른 연습법을 적용했다고 합니다. 인공와우와 보청기는 주파수가 100∼8000Hz(헤르츠)인 말소리를 잘 들을 수 있게 돼 있어 그보다 낮거나 높은 음을 정확하게 인식하기 어렵기 때문입니다. 진인기 한림대 언어청각학부 교수는 “음악은 말소리보다 사용하는 음의 주파수 영역이 훨씬 넓어 풍성한 소리로 듣기에 한계가 있다”고 했습니다.

이에 보컬 현진은 “목소리를 음계로 알려주는 애플리케이션을 켜 놓고 배에 어느 정도로 힘을 줘야 ‘도레미파솔라시’ 음을 낼 수 있는지 터득했다”고 말했습니다. 정확한 음정을 내기 어려운 구간은 멤버들의 목소리 데이터를 학습한 인공지능(AI)의도움을 받았습니다. 빅오션의 소속사 파라스타엔터테인먼트 차해리 대표는 “데뷔 준비 과정에서 청각장애인이 유용하게 사용할 수 있는 기술이 더 많아져야 한다는 걸 느꼈다”고도 했습니다.

● 온몸으로 둥둥! 음악을 느끼는 다양한 방법

소리는 물질의 떨림이 퍼지는 현상입니다. 물체의 진동이 공기를 타고 귀로 전달돼 귀의 청각 신경을 자극하면 뇌는 소리로 인지합니다. 이 과정이 제대로 이뤄지지 않으면 소리가 잘 들리지 않게 됩니다. 다만 소리를 일으키는 진동은 귀가 아닌 다른 신체 기관으로도 느낄 수 있습니다. 스피커나 헤드폰의 볼륨을 크게 키워 진동으로 음악을 감상하는 것이 대표적인 예입니다. 가수 아이유의 노래를 좋아하는 청각장애인 김성호 씨는 “청각장애인을 위한 클럽에 가 보면 매우 큰 스피커가 있다”며 “스피커에 손을 대지 않더라도 온몸에 진동이 느껴지며 음악을 즐길 수 있다”고 했습니다.

피부로 음악을 감상할 수 있는 기술도 있습니다. 2020년 11월 한국전자통신연구원(ETRI) 신승용 연구팀이 개발한 촉각음정 시스템은 주위의 소리에서 ‘도’ ‘레’ 같은 음을 인식한 뒤, 음에 따라 다른 손가락 위치에 진동을 주는 기술입니다. 예를 들어 ‘도’ 소리가 나면 장갑을 낀 왼손의 검지 첫째 마디에 진동이 느껴지고 ‘레’ 소리가 나면 검지와 중지의 첫째 마디에 진동이 동시에 느껴지게 됩니다. 연구팀은 2021년 청각장애인을 위한 국악 공연을 열어 촉각음정 시스템으로 대금의 음정 변화를 느낄 수 있게 했습니다. 가슴에 착용한 조끼로는 박자감을 느낄 수 있게 했고요. 신 연구원은 “청각장애인 관객들이 일어나서 춤을 추는 등 반응이 좋았다”고 돌이켰습니다.

● 청각 장애인 라이브 공연 즐기는 축제도

‘페스티벌 나다(NADA)’는 청각 장애인도 라이브 공연을 함께 즐길 수 있는 음악 축제입니다. 수어 통역사가 무대 중앙에서 뮤지션과 함께 악기 연주와 리듬, 뮤지션의 거친 숨소리까지 생생하게 전달합니다. 진동 조끼를 입은 관객들은 밴드 음악의 드럼과 베이스 소리를 진동으로 느낍니다.

지난해 부산에서 열린 제12회 나다에선 광주과학기술원(GIST) 홍진혁 교수팀이 개발한 AI 수어 아바타 ‘소리 토끼’가 출연해 흥을 더했습니다. 연구팀은 AI에 수어 사전 데이터와 음악의 특징에 따른 춤을 학습시켰습니다. 음악을 입력하면 AI가 선율과 박자를 분석해 어울리는 춤 동작을 만들어내는 방식입니다. 동시에 노랫말을 분석해 노랫말에 맞는 수어 동작도 만들어냅니다. 소리 토끼는 페스티벌 나다의 미디어아트에 등장해 크라잉넛의 ‘말 달리자’ 노래 가사에 맞춰 수어로 춤을 췄습니다. 관객들은 수어 떼창으로 호응했지요. 페스티벌 나다의 기획자 독고정은 대표는 “신체적 불편함이 있더라도 접근 방식을 다르게 하거나 기술을 활용하면 시각, 촉각 등으로 충분히 음악을 느낄 수 있다”고 했습니다.

배하진 어린이과학동아 기자 haeil@donga.com