음악 창작 돕는 작곡 AI ‘어뮤즈’ 떴다

KAIST 이성주 교수 연구팀 국제학회서 최우수 논문상
AI 기반 작곡지원 시스템 개발…"창작자 친화적 방향 제시"

어뮤즈 시스템 구성. [KAIST]

국내 연구진이 음악 창작을 돕는 동료 작가와 같은 역할을 하는 인공지능(AI) 기술을 개발했다.

KAIST는 이성주 전기및전자공학부 교수 연구팀이 AI 기반 음악 창작 지원 시스템 '어뮤즈(Amuse)'를 개발했다고 7일 밝혔다. 연구 결과는 인간~컴퓨터 상호작용 분야 세계 최고 권위의 국제학술대회인 'CHI'에서 전체 논문 중 상위 1%에게만 수여되는 최우수 논문상을 수상했다.

어뮤즈 시스템은 텍스트, 이미지, 오디오와 등 다양한 형식의 영감을 입력하면 이를 화성 구조(코드 진행)로 변환해 작곡을 지원해 주는 AI 기반 시스템이다.

사용자가 '따뜻한 여름 해변의 기억'과 같은 문구나 이미지, 사운드 클립을 입력하면 어뮤즈는 해당 영감에 어울리는 코드 진행을 자동으로 생성해 제안한다. 음악 창작자가 초기 아이디어를 생각하거나 창작 중간 막힐 때 이를 같이 해결해 주고 다양한 음악적 방향 탐색에 실질적인 도움을 주는 동료가 돼주는 것이다.

어뮤즈는 기존의 생성 AI와 달리사용자의 창작 흐름을 존중하고, AI의 제안을 유연하게 통합·수정하는 상호작용 방식으로 창의적 탐색을 자연스럽게 유도한다는 점에서 차별성을 갖는다는 게 이성주 교수팀의 설명이다.

핵심 기술은 대형 언어 모델을 이용해 사용자의 영감으로 프롬프트에 입력한 글자에 따라 이에 어울리는 음악 코드를 생성하고, 실제 음악 데이터를 학습한 AI 모델이 부자연스럽거나 어색한 결과는 걸러내는(리젝션 샘플링) 과정을 거쳐 결합한 두 가지 방법을 자연스럽게 이어 재현하는 하이브리드 생성 방식이다.

연구팀은 실제 뮤지션들을 대상으로 사용자 연구를 수행했다. 그 결과 어뮤즈가 단순한 음악 생성 AI가 아니라 사람과 AI가 협업하는 창작 동반자(Co-Creative AI)로서의 가능성이 높다는 평가를 받았다.

해당 논문은 이성주 교수와 KAIST 전기 및 전자공학부 박사과정 김예원, 카네기 멜런 대학의 크리스 도너휴 교수가 참여했다. 학계와 산업계 모두의 창의적 AI 시스템 설계의 가능성을 보여줘 의미가 크다.

이성주 교수는 "최근 생성형 AI 기술은 저작권이 있는 콘텐츠를 그대로 모방해 창작자의 저작권을 침해하거나 창작자의 의도와는 무관하게 일방향으로 결과물을 생성한다는 점에서 우려를 낳고 있다"고 지적했다.

그러면서 "연구팀은 창작자가 실제로 필요로 하는 것이 무엇인지에 주목하며 창작자 중심의 AI 시스템 설계에 주안점을 두었다"라며 "어뮤즈는 창작자의 주도권을 유지하면서 인공지능과의 협업 가능성을 탐색하는 시도다. 앞서 음악 창작 도구와 생성형 AI 시스템의 개발에 있어 보다 창작자 친화적인 방향을 제시하는 출발점이 될 것으로 기대된다"고 밝혔다.

세종=송신용기자 ssysong@dt.co.kr