사진 속 인물 클릭만 했는데…아바타가 나타나 춤을 추네

아바타 생성 AI 개발 경쟁
알리바바, 드리무빙 개발
사용자가 이미지 지정하면
고품질 맞춤형 비디오 생성
애플도 HUGS기술 선보여

알리바바가 개발한 드리무빙 기술.

이미지만 업로드하면 해당 이미지를 아바타로 분리해 자유자재로 조종할 수 있는 인공지능(AI) 기술이 잇달아 개발되고 있다. 애플에 이어 알리바바그룹 역시 3D 아바타 개발에 성공했다.

알리바바그룹 산하 지능형 컴퓨팅 연구소는 '드리무빙(DreaMoving)'이라는 AI 비디오 생성 프레임워크를 개발했다. 프레임워크는 응용 프로그램을 개발하기 위한 여러 라이브러리나 모듈 등을 효율적으로 사용할 수 있도록 하나로 묶어 놓은 일종의 패키지다. 이 프레임워크는 확산 모델을 기반으로 한다. 확산 모델은 대상의 이미지나 음성, 텍스트와 같은 콘텐츠를 단계적으로 열화(劣化)시킨 뒤 열화 과정을 거슬러 올라가도록 하는 단계적 AI 기법을 가리킨다.

드리무빙은 사용자가 이미지를 지정하면 고품질의 맞춤형 아바타 비디오를 생성하는 것이 특징이다. 특히 드리무빙은 비디오 컨트롤넷(Video ControlNet)과 콘텐츠 가이더(Content Guider)라는 두 가지 주요 구성 요소를 갖추고 있다. 비디오 컨트롤넷은 움직임을 제어하는 역할을 한다. 반면 콘텐츠 가이더는 대상의 정체성을 유지하는 데 중점을 둔다.

이를 토대로 이미지 얼굴 형상은 고스란히 유지하면서도 비디오를 생성해 춤을 추게 할 수 있는 것이다. 알리바바그룹은 "이 프레임워크의 능력은 텍스트 프롬프트와 참조 이미지를 사용해, 비디오의 외관을 제어하는 데 탁월한 것에 있다"면서 "얼굴 이미지의 정체성은 유지하면서도, 포즈 시퀀스를 통해 정밀하게 움직임을 조작할 수 있다"고 말했다. 드리무빙은 AI 영상에 대한 새로운 기술 능력을 보여준다.

앞서 애플은 휴먼 가우시안 스플랫(HUGS·Human Gaussian Splats)이라는 기술을 공개했다. 한 대의 카메라인 단안 비디오를 활용해 3D 애니메이션 아바타를 생성하는 기술을 시연한 것이다. 동영상에서 배경과 인물을 분리해내고, 이를 다시 재활용할 수 있는 기술이다. 예를 들어 눈밭을 걸어가는 사람 관련 영상이 있다면 AI가 이를 학습한 뒤 인물과 배경을 마음대로 조합할 수 있다. 다른 각도에서 인물이 춤을 추는 영상으로 만들 수 있다. 이 과정에서 애플은 'SMPL'이라는 통계적 체형 모델을 사용했다고 밝혔다. 체형을 유지하고 디테일한 옷이나 머리카락과 같은 요소를 캡처할 수 있다.

애플 연구진은 "기존 아바타 생성 방식에 비해 HUGS는 훈련·렌더링 속도가 최대 100배 빠르다"면서 "일반적인 게임용 GPU에서 단 30분 동안 시스템을 최적화해 이러한 결과를 만들어낼 수 있다"고 설명했다.

이러한 동영상 아바타 생성 기술은 합성 영상의 새로운 지평을 열 것이라는 평가가 많다. 특히 아이폰에 해당 기술이 탑재되면 새로운 3D 장면을 창조할 수 있을 것으로 보인다. 향후 아이폰에 동영상을 업로드하면 아이폰이 인물을 분리해 사막을 걷거나 우주를 유영하는 영상으로 전환해줄 수 있는 대목이다.

[이상덕 기자]