아시안게임 영상 클립, AI로 생성… ‘스포터’로 생태계 확대하는 네이버 치지직

김대황 네이버 MuAI Tech 리더 인터뷰
스포터, 영상·텍스트·중계 음성·시청자 반응 등 분석
하이퍼클로바 비롯한 자체, 오픈웨이트 AI 모델 활용
북중미 월드컵 AI 클립 수 3400개… 경기당 30개 수준
특정 도메인 없이도 동작… 아시안게임 전 종목에 적용
스트리머 생태계 성장도… 같이보기·대형 스트리머에 우선 도입

김대황 네이버 MuAI 테크 리더가 21일 경기 분당 네이버 1784 사옥에서 디지털타임스와 인터뷰하고 있다. 네이버 제공

네이버 스트리밍 플랫폼 '치지직'이 자체 개발한 인공지능(AI) 시스템의 적용 범위를 스포츠 중계에서 스트리머의 일상적인 방송으로 확장한다.

실시간으로 스포츠 주요 장면을 분석하고 1분 내외의 숏폼 콘텐츠인 '클립'을 자체 생산하는 AI '스포터'를 게임 및 e스포츠를 넘어 스트리머의 '성장 도구'로 발전시키겠다는 방침이다.

네이버는 지난 6월부터 이어진 대형 이벤트에 맞춰 치지직에 '스포터'(SPORTER·Smart Platform For OmniModal Realtime Tracking and Episode Recreation)를 도입했다.

21일 경기 분당 네이버 1784 사옥에서 디지털타임스와 만난 김대황(사진) 네이버 MuAI 테크 리더는 "스포터는 AI가 오디오, 영상, 채팅 등을 실시간으로 파악하는 시스템"이라며 "골을 넣었다거나 시청자 채팅이 급격히 늘어났다거나 하는 유의미한 경기 내용 및 시청자 반응을 토대로 클립을 생성한다"고 기술을 소개했다.

그러면서 "특정 구간을 숏폼 콘텐츠로 제작하는 것을 넘어 네이버의 주요 지면에 실시간으로 발행, 전달하는 역할도 맡는다"고 덧붙였다.

스포터는 하나의 대형언어모델(LLM)이 아니라 각 영역에 특화된 모델을 적절히 엮은 분업화 방식의 협업 모델이다. 영상·텍스트·중계 음성·시청자 반응 등을 각각 분석한 뒤 결과를 동기화해 어떤 장면이 콘텐츠로서 매력적인지를 판단한다.

빠르게 영상 구간을 나누는 작업에는 상대적으로 가벼운 모델을 사용하고 세부 분석에는 큰 모델을 투입한다. 하이퍼클로바를 비롯해 네이버가 자체 개발·내재화한 모델과 공개된 오픈웨이트 모델 등을 목적에 맞게 활용했다.

스포터의 주요 기능은 AI 자막·클립·챕터로 세분화된다. 클립 생성 외에도 치지직에서 라이브되는 해외 콘텐츠에는 AI 자막을, 라이브 종료 이후 생성된 주문형비디오(VOD)에는 주요 장면을 시간별로 정리해 제공하는 챕터를 지원하고 있다.

학습 데이터로는 외부에 개방돼 있는 영상이 적극 활용됐다.

김 리더는 "치지직의 모든 영상은 활용되지 않았다"며 "치지직이 여러 대회를 중계하지만 이를 데이터로 학습할 수 없었고 축구는 학습이 가능한 하부리그의 경기를, 롤(LoL)은 개발진이 직접 플레이했던 게임을 활용하기도 했다"고 전했다.

이어 "e스포츠 도메인 제작에 앞서 1인칭슈터(FPS)를 한 번도 하지 않은 친구가 있었다"며 "게임의 재미와 시청자 반응이 나타나는 지점 등을 파악해야 하니, 우리가 직접 PC방을 찾아가 게임을 익히기도 했다"고 소개했다.

스포터가 20일 아시안게임 농구 종목에서 금메달을 획득한 문유현의 활약상을 클립으로 생성해 네이버 검색 화면에 노출하고 있다. 네이버 제공

◇축구·롤에서 성과 거둔 스포터… 아시안게임으로 본격 확장

네이버에 따르면 스포터는 지난 6월 '2026 국제축구연맹(FIFA) 북중미 월드컵', '미드시즌인비테이셔널'(MSI), 7월 'e스포츠월드컵'(EWC) 등에 우선 적용됐다. 북중미 월드컵 당시에는 AI가 생성한 하이라이트 클립이 치지직의 메인 화면을 가득 메웠고, 이용자가 네이버 검색 엔진에서 선수 또는 경기 결과를 검색하면 관련 클립이 노출됐다.

사람이 제한된 시간과 종목에서 만들던 하이라이트를 AI가 실시간·상시 생성하면서 콘텐츠 커버리지 자체가 넓어졌다는 설명이다. 북중미 월드컵의 경우 경기 수가 늘어났고 짧은 기간 내에 많은 경기가 진행됐는데, 스포터가 경기 종료 이후 다양한 클립을 생성하며 축구 팬덤을 사로잡는 데 성공했다.

김 리더는 "당시 생성한 클립 수는 3400개, 누적 재생 수는 1억2000회 정도로 재생 수가 대단히 높지만 가장 고무적인 점은 클립의 개수"라고 했다. "스포터가 한국 경기를 포함해 경기당 30개씩 클립을 만든 셈인데 AI였기에 가능했다고 본다"면서 아시안게임에서의 성과가 기대된다고 밝혔다.

축구와 롤에만 국한되었던 스포터는 지난 19일 개막한 '2026 아이치·나고야 아시안게임'의 전 종목에 적용된다. 이를 위해 네이버는 전방위적으로 사용할 수 있도록 스포터를 고도화하는 데 심혈을 기울였다.

김 리더는 "월드컵, MSI, EWC 적용 당시에는 종목을 겨냥해 만들었다"며 "영상, 화면 텍스트, 중계 음성, 시청자의 채팅 등 4가지의 핵심 요소를 도메인에 맞게 실시간으로 분석했다"고 말했다.

그러면서 "아시안게임의 경우 종목이 워낙 다양해 종목별로 세세하게 할 수 없겠다고 판단했다"며 "하나의 큰 모델이 30개가 넘는 종목을 인식할 수 있도록 완성했다는 점이 가장 달라진 것"이라고 덧붙였다.

스포터는 경기 주요 장면과 결과뿐만 아니라 선수에도 집중한다. 선수의 특정 행동 또는 카메라로 비춰진 선수에 대한 시청자의 반응에 따라 콘텐츠를 생산한다는 설명이다. 예를 들어 월드컵 당시 설영우 선수가 애국가를 부르는 모습을 AI가 선정해 클립으로 제작했다.

이는 스포터가 여러 종목을 스스로 분석하는 역량으로 연결된다.

스포터는 축구처럼 공격 전개가 이어지는 종목, 배드민턴·탁구처럼 공을 주고받는 종목, 역도·사격처럼 한 차례 시도의 중요성이 큰 종목, 육상·수영과 같은 레이스 종목 등 경기 특성을 알아서 판단·분류한 뒤 장면과 등장인물을 함께 분석한다.

특정 선수가 결승에 진출하면 앞선 경기에서 해당 선수의 주요 장면을 모아 새로운 콘텐츠로 만드는 식의 활용도 가능하다.

AI가 선택한 장면은 5분 만에 숏폼으로 제작되고, 치지직뿐만 아니라 네이버의 AI 브리핑, 인물 검색 등 네이버 생태계 전반으로 확산된다.

이를 통해 한국 국가대표팀의 메달 소식과 비인기 종목의 선수 활약상을 전하며 아시안게임의 분위기를 생동감 있게 전달하겠다는 구상이다.

◇스포츠 뛰어넘어 '같이보기'에도 녹여낸다

네이버는 스포터를 치지직의 차세대 성장 핵심 축으로 바라보고 있다. 치지직 내에서 생중계하는 스트리머에게 스포터를 통한 성장 기회를 제공할 계획이다. AI를 활용해 스트리머와 플랫폼이 동반 성장하는 구조를 만들겠다는 방침이다.

스포터는 10월 미국에서 열리는 '2026 리그 오브 레전드 월드 챔피언십'(월즈) 치지직 중계 방송에도 적용되며 내년도까지 엔터테인먼트 행사와 토크쇼 등으로도 적용 범위를 확대한다.

월즈의 경우 경기 주요 장면 외에도 '같이보기' 태그를 걸고 중계하는 치지직 스트리머의 리액션을 클립으로 제작한다. 경기에서 결정적인 장면이 나왔을 때 스트리머가 자리에서 일어나거나 소리를 지르는 행위나 시청자의 채팅 반응을 토대로 AI가 콘텐츠를 제작하는 것이다.

아울러 치지직은 스트리머 반응 모음을 자체 생산할 계획이다. 이미 유튜브에서는 주요 장면에 대한 스트리머들의 반응을 모은 영상이 화제를 모으고 있다. 이러한 콘텐츠를 스포터를 통해 빠른 속도로 제공한다는 방침이다.

예를 들면 롤 경기 중 중요한 한타(싸움)가 벌어졌을 때 이를 감상하던 4~5명의 스트리머 반응을 한 번에 보여주는 방식이다.

이를 위해 경기 화면과 스트리머의 얼굴을 자동 배치하는 기술인 '오토 리프레임'을 개발했다. 오토 리프레임은 경기 특성에 맞춰 영상 비율을 자동 선택하고 선수를 추적하며 화면을 잘라내는 기술이다. 경기 화면 없이 '입중계'하는 스트리머들의 반응도 영상화할 수 있는 방안도 검토 중이다.

치지직은 플랫폼에서 중계되는 스포츠 및 e스포츠 종목에 스포터를 도입하며 우선 적용 대상은 상위권 스트리머다. 중장기적으로는 전체 스트리머의 절반까지 지원하는 것을 목표로 한다.

김영욱 기자 wook95@dt.co.kr