엔씨소프트, 디지털 휴먼 경쟁력 확보..노래하는 AI 개발

엔씨소프트 판교 R&D 센터 전경. /엔씨소프트 제공

엔씨소프트가 인공지능(AI) 음성 합성 분야에서 성과를 내고 있다. 꾸준한 인수합병(R&D)과 기술 개발을 통해 기술 경쟁력을 확보하고 있다는 평가다. 사운드와 비주얼 투자를 통해 향후 디지털 휴먼 기술 역량을 확보하고 있는 것으로 보인다.

30일 게임 업계에 따르면 엔씨소프트는 최근 AI 센터 내 스피치 AI 랩에 뮤직 AI 팀을 신설했다. AI 모델을 개발하는 연구자와 음악 데이터를 구축하고 분석하는 음악가가 모인 팀이다. 각자 전문성을 토대로 협업해 높은 수준의 결과물을 얻어내는 게 목표다.

뮤직 AI 팀의 최초 연구는 자연스럽게 노래를 부르는 목소리 ‘가창 음성’에 초점이 맞춰져 있다. 하지만 멜로디를 생성하고 화음을 만드는 등 다양한 요소의 음악 전체로 영역을 확대했다. 현재는 AI를 음악에 적용할 수 있도록 여러 분야의 연구를 동시에 진행한다. 엔씨소프트 뮤직 AI 팀은 실용음악 전문가를 팀원으로 구성했다. 음악적 전문성을 통해 데이터의 질을 높이고 AI의 노래에서 감정선이 느껴지는 등 자연스러움을 추구할 수 있게 했다.

엔씨소프트는 AI 음성 합성 관련 연구를 진행하면서 쌓은 결과를 다양한 학회에 공유하고 있다. 이달에는 글로벌 AI 기업이 최신 기술을 공유하는 세계 최고 권위의 음성 AI 학회 인터스피치 2022에 논문 3편을 발표했다. 이번에 발표한 논문 3편의 주제는 적대적 다중 작업 학습을 기반으로 음색과 피치 표현을 분리 모델링 하는 방안 연구, 사전 학습된 뉴럴 보코더를 이용한 발화 품질 향상 연구, 합성음의 표현력을 다양화해 자연스러움을 향상시키기 위한 연구 등이다. 엔씨소프트는 이번 연구 결과를 통해 음성 합성 및 가창 합성 시스템의 품질과 자연스러움을 업계 최고 수준으로 구현했다는 평가를 받았다.

엔씨소프트는 음성 합성 기술을 넘어 비주얼 역량을 강화하는 등 디지털 휴먼의 준비에 속도를 내고 있다. 지난 4월 이제희 최고연구책임자(CRO)를 부사장으로 영입한 게 대표적이다. 이 CRO는 지난 2003년부터 서울대 컴퓨터공학부 교수로 재직한 컴퓨터 그래픽스 및 애니메이션 분야의 석학이다. 엔씨소프트는 지난 7월에는 글로벌 아트 리더에 다니엘 도시우와 디지털 액터 실장에 정병건 상무를 영입했다. 정 실장은 싸이더스 스튜디오 엑스에서 버추얼 인플루언서를 담당했던 디지털 휴먼 전문가다.

- Copyright ⓒ 조선비즈 & Chosun.com -