영상 속 의상도 바꿔 준다…구글, 영상 생성 AI '루미에르' 공개[아무Tech]

구글의 영상 생성 인공지능 모델 '루미에르'를 활용해 원본 영상 일부를 변경한 사례. 가장 왼쪽이 원본 영상이다. (루미에르 공개 깃허브 갈무리) 2024.01.26 /뉴스1

(서울=뉴스1) 김승준 기자 = 간단한 명령어를 영상으로 만들어주고 영상 속의 옷을 원하는 대로 바꿔는 인공지능(AI)가 공개됐다.

27일 업계에 따르면 구글은 비디오 생성 AI 모델인 '루미에르'(LUMIERE)를 23일 깃허브에서 공개했다.

루미에르는 비디오 생성용 시공간 확산 모델(Space-Time Diffusion Model for Video Generation)이다.

AI 분야에서 확산 모델은 원본의 질을 단계적으로 떨어뜨린 뒤 원본에 가까운 이미지를 복원하는 과정을 학습시킨 생성 모델이다.

예를 들어 이미지를 점차 흐리게 만들면 이미지는 점점 원래의 모습을 잃게 된다. 거꾸로 원래의 모습을 잃은 이미지에서 흐려진 것을 제거하다 보면 원본을 찾아갈 수 있다. 인공지능에 이런 과정을 학습시켜 이미지를 생성하는 데 쓸 수 있다.

스테이블 디퓨전, 달리, 미드저니 등 서비스가 확산 모델을 활용해 정지 이미지를 생성한다.

이번에 공개된 루미에르는 확산 모델 기술을 동영상으로 확장한 것이다.

이미 간단한 명령어를 받아 영상을 만들어주는 생성형 AI는 여럿 공개됐다. 구글이 공개한 루미에르는 더 나아가 △사진과 명령어 입력 시 영상 제작 △영상 스타일 변경 △사진의 일부만 영상으로 변환 △화면 일부가 잘리거나 가려진 영상 복원 등의 다양한 기능을 갖췄다.

구글은 루미에르를 소개하는 논문에서 "우리는 사전 훈련된 텍스트-이미지 확산 모델을 활용해 새로운 텍스트-비디오 생성 프레임워크를 제시했다"며 "초보 사용자가 창의적이고 유연하게 콘텐츠를 생성하는 것을 목표로 개발했다. 다만 허위·유해 콘텐츠 등 오용을 막는 도구를 개발해야 한다"고 했다.

구글의 영상 생성 인공지능 모델 '루미에르'를 활용해 이미지 일부를 영상화한 사례. 왼쪽이 원본 이미지이다. (루미에르 공개 깃허브 갈무리) 2024.01.26 /뉴스1

구글의 영상 생성 인공지능 모델 '루미에르'를 활용해 일부가 훼손된 영상을 복원한 사례. 왼쪽이 원본 영상이다. (루미에르 공개 깃허브 갈무리) 2024.01.26 /뉴스1

구글의 영상 생성 인공지능 모델 '루미에르'를 활용해 원본 영상을 여러 스타일로 바꾼 것. 가장 왼쪽이 원본 영상이다. (루미에르 공개 깃허브 갈무리) 2024.01.26 /뉴스1

seungjun241@news1.kr