한동대, 세계 최초 감정 담아 노래하는 음성합성 AI 개발

[포항=뉴시스] 강진구 기자 = 경북 포항의 한동대학교(총장 최도성)는 전산전자공학부 딥러닝 연구실이 세계 최초로 감정 표현이 가능한 다중화자 노래음성합성AI인 ‘뮤즈SVS(MuseSVS)’를 개발했다고 2일 밝혔다.사진은 ‘뮤즈SVS(MuseSVS)' 구조도.(사진=한동대학교 제공) 2023.08.02.photo@newsis.com *재판매 및 DB 금지

[포항=뉴시스] 강진구 기자 = 경북 포항의 한동대학교(총장 최도성)는 전산전자공학부 딥러닝 연구실이 세계 최초로 감정 표현이 가능한 다중화자 노래음성합성AI인 ‘뮤즈SVS(MuseSVS)’를 개발했다고 2일 밝혔다.

MuseSVS의 개발은 김성재 한동대 박사과정이 주도하고 김예원(한동대 석사과정), 전제우 (한동대 학부과정) 등 한동대 학생들이 참여했다.

노래음성합성(Singing Voice Synthesis, SVS)은 악보를 입력하면 노래음성을 합성하는 AI 기술이다.

기존의 AI들은 대부분 노래를 부르는 음성만을 합성할 수 있었던 반면, 감정을 반영해 음성을 합성하는 AI는 아직까지 없었다.

한동대학교가 이번에 개발한 MuseSVS는 악보와 함께 화자, 감정의 종류와 강도를 입력하면 그에 따라 음색, 비브라토, 볼륨이 다른 노래음성을 합성한다.

이번 노래음성합성 AI에 최초로 적용된 통계적 음정 예측기와 문맥기반 음표길이 예측기는 감정표현을 위한 미세한 음정과 박자의 미세한 변화를 효과적으로 합성하는 것이 특징이다.

MuseSVS는 음성처리분야의 세계 최고 저널인 IEEE/ACM Transactions on Audio, Speech and Language Processing(TASLP)최근호에 발표됐다.

한동대학교 딥러닝 연구실 지도교수 김인중 교수는 "사람은 동일한 노래를 부를 때라도 음정, 박자, 볼륨의 미세한 변화를 통해 감정을 표현한다. MuseSVS는 이러한 미세한 변화를 데이터로부터 효과적으로 학습한다"며 "MuseSVS는 음정과 박자의 거시적인 흐름은 악보를 따르되 미시적인 변화는 지정된 감정의 종류와 강도에 따라 다르게 합성한다"고 밝혔다.

☞공감언론 뉴시스 dr.kang@newsis.com