[인공지능의 두 얼굴] 신동엽 SBS 첫 출연 장면 알고 있는 AI

[인공지능의 두 얼굴 (08)] AI 자료화면 검색 기술에 공들이는 방송사들
SBS, 순풍산부인과 '옛날 아이맥' 캡처화면으로 어느 회차 방영분인지 검색 가능
MBC, '분위기 파악하는 AI 자료화면 검색기술' 개발 나서

[미디어오늘 박서연, 금준경 기자]

#1. 지난해 SBS <연예대상>에 출연한 개그맨 양세찬이 “'할아버지 할머니 안녕하시렵니까?' 유행어를 낳은 1992년 8월1일 첫 방송한 '레일맨'이 신동엽의 SBS 첫 출연 장면인가요?”라고 묻자, 주시은 AI 아나운서가 “아니에요. 신동엽님의 SBS 첫 출연 장면은 1992년 1월15일 <코미디 전망대>”라고 답했다.

#2. IT분야 소식을 다루는 스브스뉴스의 '오목교 전자상가' 유튜브 채널 아이맥 구형 모델을 다룬 적 있다. 콘텐츠 제작 당시 “순풍산부인과에 옛날 아이맥이 나왔대!”라고 상사가 말하자, PD들은 당황한다. 선배 PD는 당황해하는 후배 PD들을 향해 “뭐해? 찾아^^”라고 말하고, 후배 PD들은 '사직서'를 작성한다. 방대한 영상을 일일이 찾아보기란 불가능에 가깝기 때문이다.

▲(위쪽부터) 개그맨 신동엽씨가 1992년 9월1일 SBS 예능 프로그램 '레일맨'에 출연한 모습. 신동엽씨의 SBS 첫 출연은 1992년 1월15일 '코미디 전망대' 프로그램이었다. 사진=SBS미디어기술연구소.

SBS는 1991년 12월9일 개국해 30년 넘게 예능·교양·드라마 프로그램을 방송해왔다. 자료로 쌓인 영상만 수십만 시간. SBS는 개그맨 신동엽씨가 어느 프로그램에 언제 처음 등장했는지, 1998년부터 2000년까지 3년여간 682회 방송된 순풍산부인과의 어느 회차에 '옛날 아이맥'이 나왔는지 수동으로 찾지 않아도 되는 인공지능 기반 프로그램을 개발해 운용하고 있다.

비교적 최근 영상들은 온라인에 업로드한 담당자들이 영상을 올리면서 영상에 관련된 상황 정보를 일반 텍스트 형태, 혹은 태그로 넣어 세밀하게 입력했다. 입력만 잘해두면 검색어로 인한 결과값이 정확하게 나온다. 그러나 24년 전 방영을 시작한 순풍산부인과에서 '옛날 아이맥' 화면을 찾거나 또다른 시트콤에 나온 '노주현 지켜보고 있다'는 장면을 찾으려면 어떻게 해야 할까. 과거엔 영상을 업로드하면서 텍스트나 태그를 넣는 작업을 하지 않았다. 따라서 옛날 영상 자료를 확인하려면 수동으로 일일이 찾아야 했다.

▲순풍산부인과 특정 회차에 나온 '옛날 아이맥' 화면을 과거에는 직접 일일이 찾았으나, AI 딥러닝 개발을 통해 어느 회차에 있는지 자동으로 찾을 수 있게 됐다. 사진=유튜브채널 '오목교 전자상가'.

지난해 SBS 미디어기술연구소는 이런 불편함을 해소하기 위해 딥러닝 기술을 적용한 'SBS 통합 AI 플랫폼'을 개발했다. 플랫폼에 접속해 소위 '짤'이라고 불리는 장면을 '방송 이미지 검색' 탭에 넣으면 해당 이미지의 원본 영상이나 동일인물의 출연분을 바로 찾아낼 수 있는 시스템이다. '옛날 아이맥'은 순풍산부인과 481회 3분에 나온다.

▲ SBS미디어기술연구소는 30년 치 예능·교양·드라마 프로그램 등 아카이브 영상을 이미지 DNA화했다. 사진=SBS미디어기술연구소.

홍순기 SBS 미디어기술연구소 박사는 “이미지 DNA 기술을 개발했다. 쉽게 말해 영상의 각 프레임별 특징을 찾아내 저장해 둔 마치 DNA와 같은 정보 값을 말한다”며 “사람은 이미지를 볼 때 전체적인 구성을 보지만, 컴퓨터는 사람의 얼굴 형태가 있으면 눈, 코, 입 위치의 경계값을 기억한다. 이미지를 업로드하면 이미지의 특징값을 추출한 뒤 서버에 저장한 값과 일치하거나 거의 같은 경우 해당 장면이 포함된 영상을 알려주는 것”이라고 설명했다.

이 프로그램을 개발한 계기에 대해 홍순기 박사는 지난 26일 “SNS상에 SBS 방송 영상 캡처본이 돌아다니는데, 정작 어느 회차인지 알지 못한다. 이 이미지를 가지고 어느 회차의 어느 부분인지 찾아보자. 역수집 해보자. 재미있다고 생각하는 장면들을 빨리 알아내고 싶었다”며 “이걸 제작에도 활용하고 싶었다. 최근 방송사들이 유튜브채널에 구작 클립을 재편집해 콘텐츠를 올린다. 콘텐츠 제작자들이 특정 장면을 찾고 싶은 욕구가 생긴 거다. 2차, 3차 콘텐츠를 창작하는데 기술을 활용할 수 있을 거라고 생각했다”고 밝혔다.

유성 차장은 “사람 손으로 한 건 없다. 기계로 수개월 동안 아카이브에 들어가 있는 모든 동영상을 프레임 단위, 초 단위로 보면서 영상의 특성을 미리 분석해 DB화 해서 구현했다”고 말했다.

이 기술은 뉴스에도 적용될 수 있다. SBS는 뉴스를 제작하기 위해 촬영한 40만 시간의 영상도 딥러닝 작업을 하고 있다. 유성 차장은 “특정 정치인이 과거 어떤 말을 했는지 검색할 수 있는 걸 뉴스에 적용해보려고 한다”며 “40여만 시간의 영상에 음성인식 및 얼굴인식을 적용해 아주 빠르게 검색할 수 있는 기술을 개발하고 있는 상황”이라고 말했다.

▲사진=유튜브채널 '오목교 전자상가'.

MBC 사내벤처 딩딩대학도 AI 딥러닝 기술로 방대한 자료화면을 검색하는 기술을 개발하고 있다. '마트에서 계산하는 장면 찾아줘' '회의 장면 찾아줘' 등 검색만으로 해당 장면을 찾아주는 기술이다. 과학기술정보통신부·한국전파진흥협회 주관 뉴테크 융합 지원 사업에 선정돼 관련 사업을 추진하고 있다.

염규현 딩딩대학 공동대표는 “방송화면은 크게 '특정', '불특정' 자료화면 두 가지로 구성된다”며 “경제 기사를 다룬다고 하면 특정 화면인 이창용 한국은행 총재의 모습이나 말하는 장면과 불특정 화면인 은행원 그림 및 마트 카운터 등 장면이 필요하다. 지난해에는 특정 자료화면 딥러닝을 했는데, 올해는 추상적인 동작이나 상황을 나타내는 키워드를 넣으면 영상이 나오는 프로그램을 개발하고 있다”고 설명했다.

염 대표는 “오픈 라이센스 등을 활용해 연구를 진행하고 있다. 아직 상용화되진 않았고 실증 과제를 수행 중이다. 실제로 프로그램을 만들어 콘텐츠를 제작해 볼 거다. 기존에 사람이 검색했을 때보다 얼마나 더 효율적이고 효과적인지를 연구 보고서에 담을 것”이라며 “상용화하면 국내에든 외국에든 프로그램을 판매하는 게 목표”라고 밝혔다.