[기고] 광고시장 혁신 가져올 ‘멀티모달AI’ 혁명

이재성 트웰브랩스 대표

국내 온라인 동영상서비스(OTT) 업체 간 경쟁이 나날이 치열해지고 커넥티드 TV 광고가 새로운 시장으로 떠오르고 있다. 영상 광고 시장은 빠르게 커지고 있지만 여전히 광고 시장에서 영상은 ‘인공지능(AI)의 사각지대’로 남아 있다. AI가 영상을 오직 단순 이미지 모음이나 자막의 텍스트 데이터로만 소화한다면 결코 이야기 전체의 ‘맥락’을 이해할 수 없다. 영상의 본질은 프레임이 아니라 시간의 흐름 속에서 전개되는 움직임과 소리, 즉 ‘감정의 연속성’에 있기 때문이다.

왜 기존 AI는 영상을 제대로 이해하지 못할까. 이는 대부분의 AI 광고 시스템이 영상을 단순히 이미지 프레임과 자막 텍스트의 집합으로 인식하기 때문이다. 정지된 ‘순간’만으로는 결코 전체의 ‘이야기’를 파악할 수 없다.

현재 영상 맥락 분석은 키워드 추출과 메타데이터 태깅 등에 의존하고 있다. 그 결과 적합성에 대한 오류가 빈번히 발생한다. 각각의 광고는 별 문제가 없어 보이지만, 결과적으로는 맥락과 맞지 않는 콘텐츠 다음에 붙게 되거나 브랜드 이미지와 맞지 않는 노출을 한다.

이러한 문제를 해결하기 위해 AI가 활용될 수 있다. 그러나 텍스트 기반 대규모언어모델(LLM)이나 전통 컴퓨터 비전 기술은 모두 정적인 분석에 최적화됐다. 시간의 흐름이나 전체 영상의 맥락을 이해하지 못하는 문제점이 있다. 정확도를 높이기 위해 프레임을 더 많이 분석하면 처리 비용은 기하급수적으로 증가할 수 있다. LLM으로 영상 1시간을 처리하는데 7달러 넘는 비용이 든다고 했을 때 수천 시간의 영상 데이터를 처리하는 것은 현실적으로 어렵다.

‘진짜 영상을 이해하는 AI’로는 최근 등장한 멀티모달 AI를 꼽을 수 있다. 영상 전체의 텍스트와 영상, 음성, 자막 등 여러 형태의 데이터를 동시에 학습해 공간·시간적 관계를 이해한다. 사람이 장면의 시각·청각적 단서를 모두 종합해 상황을 판단하듯이 멀티모달 AI는 영상 속의 인물 대사와 배경음, 동작, 감정의 변화를 함께 읽는다.

단순히 ‘자동차가 있다’가 아니라 이것이 추격 장면인지, 제품 시연인지, 감성적인 라이프스타일 연출인지를 구분할 수 있다.

이처럼 영상 자체를 ‘시간적 데이터’로 이해하는 멀티모달 AI는 완전히 다른 차원의 결과를 만들어낸다. 가령 스포츠 중계의 하이라이트를 사람이 수작업으로 편집하던 과정을 AI가 이해하고 자동으로 요약할 경우 과거 평균 16시간이 걸리던 작업이 단 9분 만에 완료된다. 광고 노출의 품질을 높이고 콘텐츠 제작자와 플랫폼의 수익을 동시에 늘릴 수 있다.

구글과 아마존, 오픈AI 등 빅테크 기업들은 왜 이런 영상 AI를 선도하지 못할까. 답은 ‘속도’다. 이 분야의 혁신은 전문성에 기반한 속도전에서 온다. 빅테크 기업들이 범용 언어모델과 생성형 콘텐츠에 집중하고 있는 반면, ‘서사 구조를 이해하는 영상 AI’는 별도의 기술 영역으로 이를 집중적으로 연구한 전문화된 영상 특화 AI 기업들이 발빠르게 움직이며 거대 기업보다 먼저 핵심 영역을 장악해가고 있다.

‘영상의 언어’를 이해하는 AI가 등장하면서 광고 생태계의 구조적 혁신이 가속화되고 있다. 플랫폼은 영상의 맥락을 정밀하게 분석해 시청자에게 더 자연스러운 광고 경험을 제공한다. 광고주는 브랜드 이미지를 지키며 효율적으로 예산을 집행할 수 있다. 에이전시와 애드테크 기업은 장면 단위의 인사이트를 기반으로 광고 검수와 맥락 기반 거래, 성과 측정 등 새로운 비즈니스 모델을 창출할 수 있다.

이제 AI가 해야 할 일은 ‘프레임을 분석하는 것’이 아니라 ‘이야기를 이해하는 것’이다. 영상은 단순한 이미지의 연속이 아니라, 인간의 감정과 사고가 녹아 있는 가장 복합적인 데이터다. 멀티모달 AI는 바로 그 복잡성을 다루는 첨단 기술이며,영상 시대의 ‘보이지 않던 의미’를 드러내는 열쇠다.

이제 산업은 더 이상 프레임을 추측할 필요가 없다. AI가 스스로 이야기를 읽기 시작했기 때문이다. AI 기술이 광고 산업에 가져올 진짜 혁신은 브랜드와 소비자가 맥락 속에서 진정으로 연결되는 경험을 만드는 일일 것이다.