일반인 얼굴·로고 AI로 블러… 영상편집 패러다임을 바꾸다[AI 대전환으로 새롭게 도약하라]

■ AI 대전환으로 새롭게 도약하라 - (12) CJ
‘밀스톤 큐’ 등 특허 15건 출원
인물 움직여도, 장면 바뀌어도
설정 인물 골라서 ‘블러’ 처리
스우파 길거리 촬영서 실제사용
트렌드·수요 예측 기술 개발도

지난달 27일 서울 중구 CJ인재원에서 하성종 인공지능(AI)실 영상콘텐츠담당이 영상 AI 솔루션 ‘밀스톤 큐’를 시연해 보이고 있다. CJ그룹 제공

영상 속 사람들 얼굴 위로 네모 모양이 떠올랐다. 인공지능(AI)이 영상에 등장한 각 인물의 얼굴과 특성을 인식했다는 의미다. 이후 ‘AI 블러(흐리기·blur)’ 기능을 이용해 주인공을 제외하고 화면에 잡힌 다른 인물을 모두 흐리게 보이도록 처리해달라고 설정하자 바로 사람들 얼굴에 블러가 씌워졌다. 인물들이 움직이면서 얼굴의 위치가 바뀌어도, 장면이 전환돼 다른 각도의 얼굴이 보여도 AI는 얼굴을 알아보고 주인공을 제외한 다른 인물들의 얼굴만 자동으로 블러 처리했다.

CJ그룹에서 개발한 영상 AI솔루션 ‘밀스톤 큐(Millstone CUE)’는 AI의 영상 인식 기술을 활용해 영상 제작에 걸리는 시간을 혁신적으로 줄여주고 있었다.

지난달 27일 서울 중구 CJ인재원에서 만난 하성종 CJ그룹 AI실 영상콘텐츠 담당은 “밀스톤 큐의 AI 블러 기능은 영상 속의 인물, 로고나 표지판, 차번호 등을 선택해 흐리게 지울 수 있는 기능”이라고 설명했다. 그는 밀스톤 큐 프로그램을 활용해 영상에서 블러의 강도와 형태까지 세부 조정하고, 주인공과 다른 인물이 가까이 있어 주인공까지 블러 처리되는 경우 이를 막는 ‘오버랩 방지 기능’ 등을 보여줬다.

‘밀스톤 큐’의 인공지능(AI) 블러(흐리기) 기능을 적용한 화면. 인물 각각의 얼굴을 구분해 흐리기가 따로 적용됐다. CJ그룹 제공

CJ그룹 내부에서 비공개 시범 운영 중인 밀스톤 큐는 일부 결과물들을 이미 대중에 선보였다. 바로 아이돌그룹 ‘제로베이스원’의 유튜브 콘텐츠와 Mnet ‘월드 오브 스트릿 우먼 파이터’ 공식 유튜브 영상이다. 제로베이스원의 영상에서 우연히 포착된 제작진들의 모습, 월드 오브 스트릿 우먼 파이터 길거리 영상에 함께 촬영된 시민들의 얼굴, 의상에 붙어 있는 브랜드 로고 등을 지우는 데 이용됐다.

가장 큰 장점은 속도다. 하 담당은 “1분가량 영상이면 분석 및 블러 처리에 2~3분 정도 소요된다”고 말했다. 일반적인 영상은 고정된 이미지 여러 개를 1초당 30프레임 이상의 속도로 빠르게 넘겨져 인간의 눈에는 마치 하나의 연속된 움직임처럼 보이는 착시 현상으로 만들어진다.

이에 따라 통상 블러 처리는 프레임 하나하나에 블러를 씌우는 식으로 이뤄졌다. 10분짜리 영상이면 약 1만8000장의 이미지에 블러를 씌우는 것이다. 이미지의 유사성을 기반으로 서로 다른 이미지에서 특정 인물의 얼굴을 추적하고 블러를 자동 적용하는 기능은 이미 시중에 나와 있었지만, 장면이 바뀌거나 동일 인물의 얼굴이 다른 각도에서 보이는 경우까지 얼굴을 추적하는 기능은 없었다. 이를 인식하기 위해선 인간처럼 공간과 움직임, 대상과 각도, 장면 전환 등의 개념을 이해해야 하기 때문이다. 하 담당은 “AI를 이용하면 영상에 어떤 등장인물이 있는지 한 번에 확인할 수 있고, 블러 처리하고 싶지 않은 인물까지 한 번에 구분해 시간을 절약한다”며 “블러와 같은 단순 반복 작업을 줄여줌으로써 더욱 창조적인 작업에 집중할 수 있도록 해준다”고 설명했다.

지난 2022년 4월 20일 개소한 CJ그룹의 AI실은 1년여 만에 밀스톤 큐의 핵심 엔진을 특허 출원하는 등 AI연구에 성과를 내고 있다. 앞으로 AI 블러 기능을 넘어 △영상 메타데이터 추출 및 검색 △하이라이트·쇼트폼 등의 영상 편집 △인물 발화영상 생성 등 기능을 추가할 계획이다.

아울러 밀스톤 큐뿐 아니라 CJ그룹 내 다양한 사업에 맞는 AI 기술을 개발하고 있다. AI실은 CJ ENM과 협업해 콘텐츠 트렌드, 소비자 데이터 등에 기반해 장르와 미디어에 대해 제안을 해줄 수 있는 시스템 ‘AI 스크립트’를 내놓기도 했다. 미국과 한국에 총 15개 특허를 출원하고, 자연어 처리 분야에서 세계 최대 학회인 ACL 2025에서 메인 콘퍼런스 발표도 이뤄진 기술이다. 또 CJ푸드빌의 뚜레쥬르, CJ CGV와 각각 협업한 수요 예측 시스템은 빵을 과다 생산해 폐기되는 양을 줄여주고, 영화관마다 소비자가 보고 싶어 하는 영화를 편성해 기획전을 진행하는 등 다방면에서 활용될 것으로 예상된다.

／제작후원／

삼성전자, 현대자동차그룹, HD현대일렉트릭, SK, 포스코, 롯데, 한화, 이마트, KT, CJ, 대한항공, 카카오, 네이버

노유정 기자