AI, 영화 같은 동영상 어떻게 만드나 봤더니… ‘선행 학습’이 핵심

해변·개 등 특정 장소·생물 담긴
비디오 수백만 편을 교재로 훈련

그래픽=이진영·Midjourney

지난 2월 챗GPT 개발사 오픈AI가 동영상 생성 인공지능(AI) 소라를 내놔 세상을 놀라게 만든 이후 글로벌 AI 기업들이 앞다퉈 비슷한 도구를 내놓고 있다. 간단한 명령어만 입력하면 진짜 사람이 찍은 것 같은 고화질 동영상을 뚝딱 만들어 주는 생성형 AI 서비스다. 구글은 지난달 비오를 내놨고, 이달 들어 중국 쇼트폼 플랫폼 콰이쇼우는 클링, 루마AI는 드림머신을, 런웨이는 젠3알파를 공개했다. 누구나 손 쉽게 동영상을 제작할 수 있는 시대가 열린 것이다.

최근 들어 나오는 동영상 생성 AI는 기본적으로 길이가 분 단위를 넘기는 데다 AI가 텍스트를 이해해 맞는 영상을 스스로 생성해 낸다는 차이가 있다. 인물이나 동물의 움직임이 현실과 구별하기 어렵고 배경이 물 흐르듯이 자연스럽게 바뀌는 탓에 “실제 사람이 찍은 영화 영상 같다”는 반응이 나온다. 이런 영상 제작은 어떻게 가능해졌을까.

◇AI 동영상, 어떻게 생성하나

소라나 비오 등 동영상 생성 AI 도구 개발에 앞서는 건 비디오 학습이다. 단순하게 보면 이런 도구는 온라인에서 개나 고양이 사진을 검색할 수 있는 기술과 같다. AI에 개나 고양이 사진을 충분히 보여주면 새로운 이미지에서도 같은 패턴을 찾아내 ‘개’라고 인식하는 식이다. 마찬가지로 해변, 도시, 식당 등 특정한 장소가 담긴 비디오 수백만 편을 AI 도구에 훈련시키면 자체적으로 특정 장소, 인물, 사물 등을 인식하고 생성할 수 있게 된다.

오픈AI가 공개한 기술 보고서에 따르면 소라는 ‘확산 모델(Diffusion Model)’을 활용해 새로운 동영상을 만들어낸다. 이용자가 ‘서울 도심을 뛰는 백인 남성’이라고 입력하면 AI가 이런 명령어에서 인물, 장소 등 중요한 키워드를 파악한다. 그동안 본 모든 서울 도심 동영상을 기반으로 비슷한 영상 조각을 불러온다. 소라는 데이터를 학습할 때 동영상을 압축한 뒤 시공간 정보를 세분해 동영상 조각(패치)으로 저장하는데, 명령어에 따라 이 조각을 불러오는 것이다. 소라는 작은 조각을 사용해 동영상의 여러 요소가 초 단위로 어떻게 연결되는지를 파악해 먼저 흐릿한 영상을 생성한다. 이때 사용되는 기술이 ‘트랜스포머 모델’이다. 동영상 덩어리에서 중요한 부분과 그렇지 않은 부분을 파악하고 조각 사이의 관계를 파악해 전체 내용을 이해하는 구조를 갖추고 있다. 이렇게 만들어진 흐릿한 영상에서 이후 노이즈를 제거하는 방식으로 깔끔한 결과물을 완성한다.

그래픽=이진영

◇뛰어나지만 한계도 뚜렷

최근 등장하고 있는 동영상 생성 AI 도구의 가장 큰 특징은 현실 세계의 물리 법칙을 이해하기 시작했다는 것이다. ‘책상 위에 얼음을 오래 올려두면 녹는다’거나 ‘바람이 불면 머리카락이 날린다’와 같은 현실 세계의 당연한 법칙을 표현해 내는 것이다. 오픈AI는 “소라가 이용자의 명령어를 이해할 뿐 아니라 그 내용이 실제 세계에서 어떻게 존재하는지 이해하고 있다”고 밝혔다.

물론 아직까지 한계도 뚜렷하다. 물리 법칙을 정확하게 구현하는 데에는 어려움을 겪는 것이다. 예를 들어 사람이 그릇에 담긴 국수를 먹을 때 양이 점차 줄어든다거나 쿠키를 한 입 베어 물었을 때 쿠키에 물린 자국이 있는 등 복잡한 장면의 물리학 요소를 반영하는 데 어려움이 있다는 것이다. 또한 훈련을 위해서는 텍스트 기반 AI 대비 컴퓨터 자원이 많이 필요하다. 글로벌 투자사 팩토리얼 펀드 등에 따르면 소라 같은 동영상 생성 AI 도구를 훈련하기 위해 매달 엔비디아의 AI 가속기 H100이 적게는 4200대, 많게는 1만500대 필요한 것으로 추정된다.