아이디어 입력만으로 음악 코드 뚝딱...AI 창작 동료 '어뮤즈' 공개

KAIST가 개발한 '어뮤즈' 시스템 구성

한국과학기술원(KAIST·총장 이광형) 연구진이 음악 창작자가 초기 아이디어를 생각하거나 창작 중 막힐 때, 다양한 음악적 방향 탐색에 도움을 주는 인공지능(AI) 동료를 구현했다.

KAIST는 이성주 전기 및 전자공학부 교수팀이 AI 기반 음악 창작 지원 시스템 어뮤즈를 개발했다고 7일 밝혔다.

이 연구 결과는 4월 26일부터 5월 1일까지 일본 요코하마에서 열린 인간-컴퓨터 상호작용 분야 세계 최고 권위 국제학술대회 CHI에서 전체 논문 중 상위 1%에만 수여되는 최우수 논문상을 수상했다.

어뮤즈 시스템은 텍스트·이미지·오디오 등 형식이 다양한 영감을 입력하면 이를 화성 구조(코드 진행)로 변환, 작곡을 지원하는 AI 기반 시스템이다. '따뜻한 여름 해변 기억' 관련 문구, 이미지, 사운드 클립을 입력하면 어울리는 코드 진행을 자동 생성한다.

기존 생성 AI와 달리 사용자 창작 흐름을 존중하고, AI 제안을 유연하게 통합·수정하는 상호작용 방식으로 창의적 탐색을 자연스럽게 유도한다.

핵심 기술은 대형 언어 모델로 입력 내용에 어울리는 음악 코드를 생성하고, 음악 데이터 학습 AI 모델이 부자연스럽거나 어색한 결과는 걸러내는 '리젝션 샘플링' 과정을 거치는 것이다. 이 두 가지 방법을 자연스럽게 이어 재현하는 하이브리드 생성 방식이다.

왼쪽부터 크리스 도너휴 카네기멜런대 교수, KAIST의 김예원 박사과정 및 이성주 교수.

연구팀은 실제 뮤지션 대상으로 연구를 수행해 어뮤즈가 단순한 음악 생성 AI가 아닌, 사람·AI가 협업하는 창작 동반자(Co-Creative AI)로서 가능성이 높다는 평가를 받았다.

KAIST 전기 및 전자공학부의 김예원 박사과정, 이성주 교수, 크리스 도너휴 카네기멜런대 교수가 해당 논문에 참여했다.

이성주 교수는 “최근 생성형 AI 기술은 저작권이 있는 콘텐츠를 그대로 모방해 창작자 저작권을 침해하거나, 창작자 의도와는 다른 일방향 결과물을 생성해 우려를 낳고 있다”며 “이에 흐름에 문제 의식을 갖고, 창작자가 실제 필요한 것이 무엇인지에 주목해 창작자 중심 AI 시스템 설계에 주안점을 뒀다”고 말했다.

이어 “어뮤즈는 창작자 주도권을 유지한 채, AI와의 협업 가능성을 탐색하는 시도로, 향후 음악 창작 도구와 생성형 AI 시스템 개발에 창작자 친화적 방향을 제시하는 출발점이 될 것”이라고 덧붙였다.

김영준 기자 kyj85@etnews.com