청각장애인도 음악 감상한다

GIST, 청각장애인 음악 경험 위한 리빙랩 운영
소리를 보고 만지고 느끼는 도구 등 활용해 체험

GIST 융합기술학제학부 소속 '팀 지스트'가 주관기관으로 진행한 리빙랩 현장에서 청각장애인들이 체험하고 있다. GIST 제공

[파이낸셜뉴스] 광주과학기술원(GIST)이 청각장애인들도 음악을 감상할 수 있는 기술을 개발해 실제 증명에 성공했다. '팀 지스트'가 ㈜씨케이머티리얼즈랩, 한국과학기술원(KAIST), 세종대, ㈜핸드스피크와 공동 개발한 '청각장애인의 음악 경험을 위한 리빙랩'을 운영해 청각장애인들이 체험했다.

12일 GIST에 따르면, 지난 11월 한달간 리빙랩을 현장에서 실증했다. 우선 지난 11월 4일에는 청각장애인(농·난청인)과 비청각장애인이 함께 어울리는 비영리 컨퍼런스 '2023 소통이 흐르는 밤'에서 서비스를 선보였다. 이날에는 청각장애인을 포함한 120여 명의 시민이 함께 체험했다.

또한, 11월 6~16일 약 2주간 시립 서대문 농아인 복지관과, 11월 18~24일 약 1주간 복지관 내 청각장애인 이용자를 대상으로 리빙랩 운영을 통해 5개의 성과물에 대한 실증을 모두 성공적으로 마쳤다.

이번에 선보인 프로그램은 △멀티모달 신디사이저 △멀티미디어 햅틱 디자인 도구 △비즈 스테이지(Viz-stage) 음악 교육 도구 △AI 수어 댄서 △댄스 with 저스트댄스' 등이다.

멀티모달 신디사이저는 수어 노래 콘텐츠 제작을 위해 소리를 보고 만지고 느끼고 만들어 보는 음악 도구다. 또 멀티미디어 햅틱 디자인 도구는 음악보다 시각적 효과를 강조하는 멀티미디어 콘텐츠 경험을 위한 시각 중심의 햅틱 저작 도구이며, 비즈 스테이지(Viz-stage) 음악 교육 도구는 다양한 소리 캐릭터와 함께하는 음악 교육 및 악기 연주 프로그램이다.

청각장애인은 다양한 프로그램을 직접 체험하며 기존 음악을 대체 감각으로 이해하는 시간을 가졌다. 음악 가사를 수어로 변환해 수어 음악을 만들기도 했으며, 햅틱 진동 팔찌를 착용하고 화면에 나오는 댄서의 춤을 따라 하는 게임에도 참여했다.

한편, 팀 지스트는 연구 성과물을 지속적으로 발전시키고 확장하는 데 주력할 계획이다. 최근 청각장애인을 위한 전문적인 재활 치료 센터를 보유한 '소리의원'과 양해각서를 체결하고, 이번 과제의 성과물이 실제 현장에서 지속적으로 실증되고 업데이트되는 것을 목표로 긴밀히 협력할 예정이다.

또한, 청각장애인 지원기관 및 관련 커뮤니티와의 지속적인 소통을 통해 청각장애인의 요구와 피드백을 더욱 깊이 이해하고 이를 반영한 연구를 발전시켜 청각장애인이 음악을 통해 더 풍부한 감정적, 사회적 경험을 할 수 있도록 지원할 계획이다.
#리빙랩 #청각장애인 #GIST #음악감상