사진 속 인물 클릭만 했는데…아바타가 나타나 춤을 추네
전체 맥락을 이해하기 위해서는 본문 보기를 권장합니다.
이미지만 업로드하면 해당 이미지를 아바타로 분리해 자유자재로 조종할 수 있는 인공지능(AI) 기술이 잇달아 개발되고 있다.
동영상에서 배경과 인물을 분리해내고, 이를 다시 재활용할 수 있는 기술이다.
특히 아이폰에 해당 기술이 탑재되면 새로운 3D 장면을 창조할 수 있을 것으로 보인다.
이 글자크기로 변경됩니다.
(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.
알리바바, 드리무빙 개발
사용자가 이미지 지정하면
고품질 맞춤형 비디오 생성
애플도 HUGS기술 선보여
이미지만 업로드하면 해당 이미지를 아바타로 분리해 자유자재로 조종할 수 있는 인공지능(AI) 기술이 잇달아 개발되고 있다. 애플에 이어 알리바바그룹 역시 3D 아바타 개발에 성공했다.
알리바바그룹 산하 지능형 컴퓨팅 연구소는 '드리무빙(DreaMoving)'이라는 AI 비디오 생성 프레임워크를 개발했다. 프레임워크는 응용 프로그램을 개발하기 위한 여러 라이브러리나 모듈 등을 효율적으로 사용할 수 있도록 하나로 묶어 놓은 일종의 패키지다. 이 프레임워크는 확산 모델을 기반으로 한다. 확산 모델은 대상의 이미지나 음성, 텍스트와 같은 콘텐츠를 단계적으로 열화(劣化)시킨 뒤 열화 과정을 거슬러 올라가도록 하는 단계적 AI 기법을 가리킨다.
드리무빙은 사용자가 이미지를 지정하면 고품질의 맞춤형 아바타 비디오를 생성하는 것이 특징이다. 특히 드리무빙은 비디오 컨트롤넷(Video ControlNet)과 콘텐츠 가이더(Content Guider)라는 두 가지 주요 구성 요소를 갖추고 있다. 비디오 컨트롤넷은 움직임을 제어하는 역할을 한다. 반면 콘텐츠 가이더는 대상의 정체성을 유지하는 데 중점을 둔다.
이를 토대로 이미지 얼굴 형상은 고스란히 유지하면서도 비디오를 생성해 춤을 추게 할 수 있는 것이다. 알리바바그룹은 "이 프레임워크의 능력은 텍스트 프롬프트와 참조 이미지를 사용해, 비디오의 외관을 제어하는 데 탁월한 것에 있다"면서 "얼굴 이미지의 정체성은 유지하면서도, 포즈 시퀀스를 통해 정밀하게 움직임을 조작할 수 있다"고 말했다. 드리무빙은 AI 영상에 대한 새로운 기술 능력을 보여준다.
앞서 애플은 휴먼 가우시안 스플랫(HUGS·Human Gaussian Splats)이라는 기술을 공개했다. 한 대의 카메라인 단안 비디오를 활용해 3D 애니메이션 아바타를 생성하는 기술을 시연한 것이다. 동영상에서 배경과 인물을 분리해내고, 이를 다시 재활용할 수 있는 기술이다. 예를 들어 눈밭을 걸어가는 사람 관련 영상이 있다면 AI가 이를 학습한 뒤 인물과 배경을 마음대로 조합할 수 있다. 다른 각도에서 인물이 춤을 추는 영상으로 만들 수 있다. 이 과정에서 애플은 'SMPL'이라는 통계적 체형 모델을 사용했다고 밝혔다. 체형을 유지하고 디테일한 옷이나 머리카락과 같은 요소를 캡처할 수 있다.
애플 연구진은 "기존 아바타 생성 방식에 비해 HUGS는 훈련·렌더링 속도가 최대 100배 빠르다"면서 "일반적인 게임용 GPU에서 단 30분 동안 시스템을 최적화해 이러한 결과를 만들어낼 수 있다"고 설명했다.
이러한 동영상 아바타 생성 기술은 합성 영상의 새로운 지평을 열 것이라는 평가가 많다. 특히 아이폰에 해당 기술이 탑재되면 새로운 3D 장면을 창조할 수 있을 것으로 보인다. 향후 아이폰에 동영상을 업로드하면 아이폰이 인물을 분리해 사막을 걷거나 우주를 유영하는 영상으로 전환해줄 수 있는 대목이다.
[이상덕 기자]
Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지
- “전기차 산 내가 바보였네”…충전요금 인상카드 만지작 거리는 한전 - 매일경제
- “버리면 쓰레기인데, 돈 벌고 기부도”…주민 1만명 넘게 나선 ‘쓰테크’ - 매일경제
- “부자 동네는 이렇구나”…의사 2배 많고 특목고 진학 3배 높아 - 매일경제
- [단독] 태영, 당국·채권자 요구안 수용…워크아웃 개시될듯 - 매일경제
- “저학력 남성은 결혼 힘들대”…독신남 늘면 노동시장 충격 ‘어마어마’ - 매일경제
- “벌써 50% 손실날 판, 억장 무너져”…손실 시작된 19조원 ‘이것’ 뭐길래 - 매일경제
- 잘나가는 스타트업, 알고보니 고딩사장…미국 IT성지에서도 주목 - 매일경제
- 225만원 개집·34만원 개밥그릇 ‘펫셔리’…댕댕아, 네가 나보다 잘산다 - 매일경제
- “서울에 내집, 이젠 포기해야 ㅠㅠ”…아파트 평당 분양가 3400만원 돌파 - 매일경제
- 미국농구 유명 전문가 “여준석 계속 발전할 재능” - MK스포츠