[희대의 NOW 구독중] AI로 복원한 그 시절 추억… 문화 예술에 스며든 첨단기술

CJ 올리브네트웍스, 문화예술 결합 목표
가수 故 터틀맨 AI 홀로그램 제작 등 선봬
음성 영상·문학·회화·음악 등 전방위 활용
"관성 깨고 개성 영역 만들어 나갈 것" 포부

광운대 OTT 미디어 전공 이희대 교수(왼쪽)와 CJ 올리브네트웍스 신정호 CTO가 충정로 디지털타임스 편집국의 유튜브 스튜디오에서 《희대의 NOW 구독중》 인터뷰를 촬영 중이다.

마블 시네마틱 유니버스의 AI들 (왼쪽부터 자비스, 울트론, 비전, 프라이데이, 캐런, 이디스 순) ＠ 출처: 마블 시네마틱 유니버스

CJ 올리브네트웍스 AI 연구원들이 딥러닝 기반의 '페이스 스왑' 기술로 만들어낸 TV 방송 속 주요 장면들 ( 위부터 M-net AI 음악프로젝트 '다시 한번'의 터틀맨 공연 장면) ＠ 출처: CJ 올리브네트웍스

CJ 올리브네트웍스 AI 연구원들이 딥러닝 기반의 '페이스 스왑' 기술로 만들어낸 TV 방송 속 주요 장면들 (tvN 드라마 '나빌레라'의 발레 장면 ) ＠ 출처: CJ 올리브네트웍스

CJ 올리브네트웍스의 AI 아트워크, AiRT(에어트)의 주요 프로젝트들. (위 왼쪽부터 배우 전미도가 AI 보이스 클로닝 화면해설방송에 참여하는 장면) ＠ 출처: CJ 올리브네트웍스

CJ 올리브네트웍스의 AI 아트워크, AiRT(에어트)의 주요 프로젝트들. (현대무용극 <밤의 여왕>에서 AI 기술이 적용된 미디어아트 캐릭터) ＠ 출처: CJ 올리브네트웍스

CJ 올리브네트웍스의 AI 아트워크, AiRT(에어트)의 주요 프로젝트들. (신입사원 공채에서 입사 안내를 맡은 버추얼 휴먼) ＠ 출처: CJ 올리브네트웍스

CJ 올리브네트웍스의 AI 아트워크, AiRT(에어트)의 주요 프로젝트들. (AiRT(에어트) 솔루션이 활용된 NFT 예술작품) ＠ 출처: CJ 올리브네트웍스

신정호 CTO는 CJ 올리브네트웍스가 그려가고 있는 AI의 미래 비전과 철학을 사내외로 전파하는 일도 중요하게 생각해 다양한 홍보 활동을 전개 중이다. (사내 미디어매거진 '올네인 이야기'에 출연해 회사 소개를 안내하는 신 CTO) ＠ 출처: CJ 올리브네트웍스

신정호 CTO는 CJ 올리브네트웍스가 그려가고 있는 AI의 미래 비전과 철학을 사내외로 전파하는 일도 중요하게 생각해 다양한 홍보 활동을 전개 중이다. (국제인공지능&윤리협회 IAAE의 AI윤리 포럼에서 '메타 휴먼'에 대한 철학을 전문가 그룹들과 나누는 모습 ) ＠ 출처: CJ 올리브네트웍스

희대의 NOW 구독중 신정호 CJ 올리브네트웍스 CTO

1인 미디어 전성시대, 숱한 채널들 사이에서 보석 같은 채널을 찾아 참 구독을 추천 드리는 유튜브 '서평' 시리즈 《희대의 NOW 구독중》.

자비스(J.A.R.V.I.S.), 울트론(Ultron), 비전(Vision), 프라이데이(F.R.I.D.A.Y.), 캐런(Karen), 이디스(E.D.I.T.H.) 마블 시네마틱 유니버스에 등장하는 AI(인공지능)의 이름들이다. 이 영화 시리즈에서 AI하면 아마도 토니 스타크의 만능 집사 느낌인 '자비스'를 먼저 떠올리게 되지만, 각기 개성 있게 등장 중이며, 토니는 이 모든 AI들의 작중 창조자다. 이들은 주인공을 돕거나 혹은 대립하고, 또 인간과 같은 육체로 어벤져스의 일원이 되기도 하는 다양한 캐릭터들로 분한다. 마치 다양한 인간 군상들의 세계처럼. 이러한 설정은 AI가 미래 인류의 조력자가 될지, 악역을 맡을지는 더 지켜보자고 질문을 던지는 듯하다. 그런데, 최근 국내외 언론에서 이 같은 진화된 AI와의 조우가 더욱 앞당겨질 것 같은 파격적 보도들이 줄을 잇고 있다. 특히 국내 주요 ICT 대기업들이 속속 개발과 투자를 천명한 '초거대 AI' 프로젝트 소식들은 영화 속 똑똑한 AI들이 현실에 곧 출현할 것이 임박했음을 강조하고 있다.

사실 초거대 또는 초대규모 AI가 등장 이전에도 이러한 조짐은 예고된 것이었다. 슈퍼 휴머노이드의 위험성을 그린 SF 호러 스릴러 영화로 리들리 스콧이 제작을 맡은 2016년 작 '모건(Morgan)'은 영화 자체보다도 예고편이 더 화제가 됐었다. 이 예고편을 만든 것이 사람이 아닌 IBM의 인공지능 왓슨(Watson)이었기 때문이다. 왓슨은 100편의 영화를 학습하고, 22000개 장면을 분석해 단 하루 만에 10편의 예고편을 만들었다. 물론 매끄럽지 못한 장면은 인간 편집자가 다소 손을 봤지만 왓슨은 열흘, 길게는 한 달 걸리는 작업을 24시간으로 줄였다고 한다. 영화의 스토리 전체를 정확히 파악하고 있어야 가능한 예고편을 AI가 스스로 맥락에 맞는 주요 장면과 음성을 분석하고, 이해해 편집했다는 것이 당시에는 파격적인 사실이었다. 같은 해 3월 이세돌과 구글의 AI 알파고(AlphaGo) 간의 바둑 대결에 이어 8월에 선보인 '왓슨'의 이 예고편은 일반인들에게도 AI가 스스로 '학습'을 거듭함으로써 점차 똑똑해진다는 '딥러닝(Deep learning)'의 개념을 인식시킨 계기가 됐다.

2020년 12월 6일 밤 주최한 국내 최대 음악 시상식 '2020 MAMA(엠넷 아시안 뮤직 어워즈)'에서 세계적 그룹 '방탄소년단'(BTS)이 이날 시상식 마지막에 꾸민 '라이프 고즈 온' 무대에 멤버 중 한 명인 슈가가 등장하자 방송을 시청하던 팬들은 깜짝 놀랐다. 슈가는 어깨 수술 이후 회복에 집중하느라 이날 시상식에 불참했기 때문이다. TV 속 슈가는 가상으로 등장한 것이다. M-net 측은 이를 위해 XR 콘텐츠 전문 제작사와 협업해 3D 오브젝트를 실시간으로 촬영하고 렌더링하는 볼류매트릭(Volumetric) 기술을 활용했다고 설명했다. 이어 같은 해 연말 특별 기획인 AI 음악프로젝트 '다시 한번'을 통해 혼성그룹 거북이의 터틀맨(임성훈)을 딥러닝 기반 페이스 스왑(Face Swap) 기술로 복원시켜 홀로그램 형태로 무대로 불러내 팬들을 울렸다. 2021년작 tvN 드라마 '나빌레라' 고난이도 발레 장면에 나온 덕출(박인환)과 채록(송강)도 실제 그들이 아니다. 발레리노 대역 안무와 주연 배우의 얼굴을 합성해 해당 장면을 연출한 것. AI로 머리부터 목까지 자연스럽게 합성해 생동감 있는 발레 장면이 만들어졌다. 이 장면들은 모두 CJ 올리브네트웍스 AI 연구원들이 딥러닝 기술을 이용해 만들어낸 장면들이다. 말 그대로 얼굴을 변형하는 기술로, 특정 사람의 얼굴을 다른 사람의 얼굴로 합성하거나 얼굴의 나이대를 바꾸는 것이 포함된다.

여기에 더해 인공지능(AI)은 점점 더 광고와 콘텐츠의 세계로 들어오고 있다. 아직은 감정을 표현하는 인간처럼 완벽하게 자연스럽지는 않으나, 보조적인 수단으로의 역할로 크리에이티브 작업을 돕고 있다. 최근에는 시와 작곡, 그림에 까지도 영역을 넓히고 있다.

이렇듯 AI와의 필연적 조우 상황을 유토피아 혹은 디스토피아로 그려보며 다양한 시각에서 내다보는 의견들도 많아지고 있다. 이 최전선의 상황, 미래 뉴미디어의 모습을 누구보다 먼저 내딛고 있는 이들도 있다. 말 그대로 요사이 가장 'HOT'한 분야에서 아무도 가보지 못한 길을 이끄는 테크놀러지 조직을 총괄하고 있는 수장을 만나려는 이유다. 덕분에 《희대의 NOW 구독중》이 만나는 인플루언서들의 폭이 점차 넓어짐을 느낀다. 이번 추천 대상은 채널이 아니라 미디어 진화의 제일선을 이끌고 있는 주인공과 그 인사이트다.

충정로에 위치한 디지털타임스 본사 편집국의 유튜브 스튜디오를 찾아준 CJ 올리브네트웍스의 신정호 CTO(최고기술책임자)와는 사실 초면은 아니다. 필자도 속해있는 국제인공지능&윤리협회(IAAE)의 AI 포럼에서 같은 초청 연사로 잠시 인사를 나눈 바 있다. 공학도임에도 철학적인 깊은 사고를 담고 있던 신 CTO의 강연에서 느낀 메시지들을 구독자 여러분들께도 공유하고 싶은 마음에 인터뷰를 청했다. 국내외를 가리지 않는 격무 속에서도 칼럼의 의도에 동감해 시간을 쪼개 함께 해준 것.

그럼에도 첫 질문부터 직구로 시작했다. 'CJ 그룹' 하면 AI보다 식품 그리고 미디어, 엔터테인먼트가 떠오르는 것은 사실인데 CTO로 자리를 옮기기 전의 커리어를 보면 테크놀로지가 다소 더 중심일 것 같은 곳 들이라 어떤 비전, 방향에 공감해 현 회사 및 직무로 이동할 결심이 섰을지 물었다. 최근에는 개발자, 그것도 최고 책임자급이라면 모셔가기 경쟁이 그야말로 역대급인 시기이니 그 행보의 배경이 궁금한 때문이었다. 답변은 의외로 담담했다. 비전과 방향을 바꾸는 것 그 자체가 이유였다는 것. '와서 바꾸어 보라' 아마도 이런 제안이었으리라. 그래서 그 방향, 어디로 향하고 있나 이어 물었다. 그는 이 변화의 방향을 이렇게 정리했다. "관성을 깨고, 구조를 바꾸고, 개성을 또렷하게 하는 것" 그리고 개성을 또렷이 하기 위해서 '버리기'를 통해 한정된 자원을 엣지(Edge) 있게 활용하고자 노력 중이라고 전했다.

우문을 던져서일지 아직은 선문답 같은 알쏭달쏭한 답변에 좀 더 구체적으로 설명을 부탁했다. 신 CTO는 AI가 전에 없던 신규 비즈니스를 일으키는 역할과 현 비즈니스를 최적화하는 역할, 두 가지로 굳이 나누어 살펴본다면 지금의 시점은 후자가 더 역량을 가질 때로 보는 시각이었다. 동감이다. 일명 '5개년 계획'에 따라 각 시기 트렌드를 주도하던 핵심 단어들이 바뀌어 온 것을 우리는 알고 있다. 유비쿼터스, 3D, VR, 드론, IoT 등등 익숙해질 즈음 또 새로운 키워드들이 등장하지만 완료형 보다는 진행형의 기술들을 미리 당겨와 그림만 먼저 그리는 경우가 많아 정작 산업 현장과의 매칭은 아쉬움을 보일 때가 적지 않았음을 말이다. 물론 AI는 아마도 대체 가능 단어가 없을 정도의 가공할 만한 발전 성과를 보여주고 있지만 '지금 곧' 인가를 진단해본다면 그 자체의 독립적 모델보다는 타 분야와 융합할 때 더욱 시너지를 낼 수 있을 것이란 쪽에 필자도 무게를 두는 편이다. 더하거나 맞추기보다 필요한 곳에 골라 쓰며 덜 것은 덜어내는 효율 우선의 철학이 '버리기'에 담긴 듯하다. IT 수장으로 새 청사진을 그리고 있는 신 CTO가 AI의 확장성을 문화와 예술에 맞추어 펼치고 있는 것도, 이러한 방향성에 대해 그룹에서도 관점을 같이하고 있구나 풀어 본다.AI와 문화예술. 언뜻 달라붙지 않다가도 CJ 올리브네트웍스가 써가고 있는 일기장을 살펴보면 하나하나씩 어떻게 뼈대를 갖추고 살을 붙이며 피를 돌게 하는지 알 수 있다. 터틀맨의 홀로그램 무대나 드라마 '나빌레라'속 발레 공연이 이러한 행보의 마중물이었다면 최근의 프로젝트들은 점차 그 색이 짙어지고 넓어지고 있다. 신 CTO는 이를 AI 아트워크, AiRT(에어트) 프로덕트라는 명명으로 소개했다. 음성, 영상은 물론 문학, 회화, 음악까지 문화예술 분야 전방위가 대상이다.

최근 tvN 드라마 '슬기로운 의사생활'에 출연한 배우 전미도가 AI 보이스 클로닝 화면해설방송 성우로 참여했다. CJ 올리브네트웍스가 개발한 AI 보이스 클로닝은 음성합성 기술을 활용해 텍스트를 입력하면 원하는 목소리를 자동생성해주는 AI 기술이다. 매 콘텐츠마다 별도로 전체 지문을 녹음하지 않아도 일정 시간 녹음한 목소리를 기반으로 AI가 화면해설방송을 자동 생성해준다. AI 기술을 화면해설방송에 적용, 시각장애인이 친숙한 유명인 목소리를 통해 콘텐츠를 시청할 수 있도록 물꼬를 튼 것이다. 얼마 전 편성을 마친 드라마 '작은 아씨들'의 화면해설방송도 이 기술을 통해 진행됐다. 현대 무용과의 콜라보도 이어졌다. 10월 열렸던 이경옥 무용단의 무용극 '밤의 여왕' 제작에 주인공 으로 등장하는 미디어아트 캐릭터에 AI 보이스 클로닝 기술과 립 제너레이션 기술을 적용한 것이다. 립 제너레이션 기술은 오디오와 영상 속 인물의 입술 발화를 맞추는 AI 기반의 립싱크 기술이다. 인물의 영상 또는 이미지와 오디오를 입력하면 오디오 싱크에 맞춰 말하는 듯한 입술의 영상을 생성한다. 이 공연의 목소리는 대배우 손숙과 함께 작업했다. 손숙의 목소리를 학습한 AI는 <밤의 여왕>의 주인공이자 복수의 화신인 여왕 캐릭터를 연기하며, 마치 배우 손숙이 현장에서 직접 연기하는 것과 같은 효과를 연출했다.

신입사원 공개 채용 오리엔테이션 또한 이 회사다운 개성을 보여줬다. 지난 5월 메타버스 플랫폼인 게더타운에서 실시간으로 진행된 이 행사의 면접 오리엔테이션에서 버추얼 휴먼 기술을 선보인 것. 오리엔테이션 초반엔 직원이 실제 화상 이미지로 나타나고, 설명 중간에 버추얼 휴먼으로 바뀌는 식이다. 버추얼 휴먼은 인공지능과 첨단 그래픽 기술을 기반으로 만든 3차원(3D) 가상 인간을 말한다. 역시 자체 개발한 '라이브 페이스 컨버전(실시간 얼굴변환)' 기술을 활용했다. 쉽게 말해 CJ그룹의 IT 부문 미래를 이끌 인재들을 뽑는 공채 안내를 AI 직원이 맡은 셈이다. 아직 공개전이지만 시를 쓰고, 음악 작곡을 지원하는 AI 플랫폼도 이미 프로토타입을 훨씬 넘어서는 결과물을 내놓고 해당 분야 전문가들과의 협업까지 마친 상태로 곧 대중 앞에 선보일 예정이다. 회화와의 연결도 흥미롭다. 이태원에 소재한 갤러리BK의 전시에서 도슨트(안내자) 서비스를 맡은 것은 사람이 아닌 CJ 올리브네트웍스의 보이스 클로닝 기술이 활용된 AI였다. 작품들과 AI 기술과의 접목은 희소성과 고유의 가치가 중요한 NFT(대체 불가능 토큰) 발행에도 긍정적인 영향을 미칠 것으로 평가되고 있다. AI 디지털 판화 제작 솔루션 'AiRT(에어트)'를 개발해 예술작품과 AI 기술을 접목시켜 새로운 창작물을 만들어내는 단계까지 나선 것이다. K-아트, K-콘텐츠가 NFT 생태계로 진출하는데 있어 든든한 지원군, 협력자의 역할이다.

"관성을 깨고, 구조를 바꾸고, 개성을 또렷하게 하는 것"이라는 화두가 조금씩 구체화 되는 것을 느끼며, 질문을 이어갔다. '메타 사피엔스'라는 신조어를 처음 공표한 장본인답게 아마도 이 기술들의 총체적인 결정체는 역시 가상공간인 메타버스에서 빛을 발하게 될 것이란 기대 섞인 예측을 전하는 그에게 윤리와 철학에 대한 시각을 물었다.

사실 버추얼 휴먼과 같은 AI의 첨단 기술은 '딥페이크(Deepfake)'와 같은 부정적 시각과 쌍을 이루기 때문이다. AI가 펼칠 미래에 대한 우리의 생각도 겹치는 대목이다. MNET의 음악프로젝트를 예로 들며 고인의 지인이나 팬분들은 당연히 성원했겠지만 다른 시각도 있었을 것 같은데 직접 프로젝트를 지휘하는 입장에서 어떤 느낌을 가졌을지 궁금했다. 그는 유족들이 반대하는 이유가 더러 있을 수 있는데, 그것은 이권 즉 초상권에 대한 보상이 이루어지지 않을 경우라고 답했다. IP(지식재산권)에 대한 본인 또는 유가족과의 합의가 모두 이루어진 경우에 한 해 사자(Dead man)에 대한 버추얼 휴먼 프로젝트를 진행하는 것을 조직의 원칙으로 삼고 있으며 그것이 상식이라고 믿고 있다고 답했다. 스마트폰 이후 미디어의 새로운 격전지가 자율자동차 속 엔터테인먼트가 될 것으로 보이는 가운데 어떤 준비 중인지에도 AI 아트워크, AiRT(에어트) 프로덕트가 바로 이러한 발전과정 속에서 의미 있는 역할을 하게 될 것임을 내비쳤다. 다 계획이 있었던 것이다.

2시간 반여의 인터뷰 중에 현실적인 질문도 건네보았다. 현재 컴퓨터공학과 AI, 데이터사이언스가 그야말로 뜨겁다 보니 요사이 인문학과 학생들의 고민도 많아지고 있다. 코딩을 비롯해 빅데이터 사이언스 분야에 대해 양수겸장의 부담은 가중 되는데 어디까지가 필요할지 정말 근원적인 고민 들을 하고 있어 여기에 전문가로서 제언을 부탁했다신정호 CTO는 소설 '분노의 포도' 이야기를 전해주었다. 1930년대 등장했던 '트랙터'를 보고 당시 일자리를 빼앗길 공포에 농부들이 트랙터 기사에게 운행 중단을 요청하자 그 기사는 이렇게 말했다. "시대는 이미 바뀌었어요. 만약 제가 운전을 하지 않아도 누군가 다른 운전수가 이 일을 할 거예요" 맞다. 트랙터가 없으면 농사를 지을 수 없는 시대, 그 흐름을 막을 수는 없을 터다. 그래서 우리는 모두 코딩을 배우고, 빅데이터, AI를 전공 해야 하는가. 모두 트랙터 운전수가 되어야하는 것인지 물음이 생긴다. 이에 대해 그는 트랙터 이후의 세상에 대해 들려주었다. 트랙터는 인간을 장시간 노동 등으로부터 해방, 이로 인해 보다 시간을 자율적으로 활용할 수 있게 했으며, 여성들의 사회 진출을 앞당겼고, 높아진 농업 생산력으로 사람을 도시로 향하게 하고 인구를 인류 역사상 유례가 없을 정도로 증가시키는데 공헌했다는 것. 그래서 우린 모두 트랙터를 배워야 하는지 되물었다.

이 답에 대해선 같은 의견이었다. 현명하고 눈썰미 있는 농부들은 굳이 트랙터 운전을 배우지 않고 달라질 미래의 중요 산업에 나섰을 것이다. 농사라면 농부가 운전수보다 훨씬 경험이 많으니 육종과 품종을 개량해 더 많은 수확을 거둘 방법을 연구하거나, 대량 생산에 맞는 새로운 식품소재를 개발하고, 내 고장의 로컬 투어 관광 코스를 만들며, 1사 1촌과 같은 공공 캠페인도 펼칠 수 있다. 중요한 것은 트랙터라는 로봇, 혹은 AI를 경쟁상대로 볼 것인지 조력자 혹은 파트너로 볼 것인지에 대한 철학이란 데 함께 공감했다.

농사라면 운전수보다 훨씬 경험이 많으니 육종과 품종을 개량해 더 많은 수확을 거두도록 연구하거나, 새로운 식품소재를 개발하고, 내 고장의 로컬 투어 관광 코스를 만들고, 1사 1촌과 같은 공공 캠페인도 펼칠 수 있다. 중요한 것은 트랙터라는 로봇, 혹은 AI를 경쟁상대로 볼 것인지 조력자 혹은 파트너로 볼 것인지에 대한 철학이란 데 함께 공감했다.

총이 사람을 쏘는 것인가. 총을 든 사람이 사람을 쏘는 것인가를 두고 벌어지는 기술결정론과 사회적 결정론의 오랜 논제처럼 인공지능(AI), 가상현실(VR)과 같은 새로운 기술은 그 자체로서보다 이를 활용하는 인간의 역할에 따라 다른 모습을 띌 것임은 분명해 보인다. 딥페이크가 음란물 등에 사용되고 있어 논란으로 떠오르고 있지만, 같은 기술은 지난해 '기생충'과 함께 오스카 작품상에 노미네이트 되었던 영화 '아이리시맨'에서는 현재 77세 로버트 드니로의 젊은 시절 연기를 자연스럽게 재현시키며 시청자들의 감동을 끌어내기도 한다. 마틴 스콜세지 감독의 손에 들린 AI와 불법 페이크 영상 제작자의 손에 들린 AI는 같은 기술인 것이다. 기술에 대한 경고들은 이처럼 마치 달을 가리키는데 손가락만 보는 격처럼 보인다. 미래 유토피아 혹은 디스토피아의 향방은 기술이 아니라 기술을 이용하는 사람의 선택에 놓여있다.

'CJ 올리브네트웍스' 신정호 CTO와의 아직 못 담은 깜짝 놀랄 연내 이벤트와 입사 관련 꿀팁 등 남은 이야기는 곧 공개될 《희대의 NOW 구독중》 유튜브에서 살펴보시기 바라며 특별했던 AI 수장과의 이날 인터뷰는 한 줄 서평으로 대신한다.

1인 미디어 전성시대, 숱한 채널 들 사이에서 보석 같은 채널, 보석 같은 콘텐츠와 인물까지 찾아 참 구독을 추천 드리는 《희대의 NOW 구독중》 한 줄 서평.

"AI는 기술 자체보다 기술을 이끌고 이용하는 '참사람'들이 함께 만들어 가는 것~"

1인 미디어 생태계 곳곳을 누비는 《희대의 NOW 구독중》. 다음은 또 어떤 채널, 어떤 인물들과 만날지 기다려주시기 바란다.

이희대 광운대 OTT미디어전공 교수

( 만개의레시피 전략본부장 )