60대 최민식이 확 젊어졌다?…30대 연기 가능하게 한 ‘비결’

“60대 배우 최민식 나이를 되돌려라”
디즈니+ ‘카지노’ 후반작업 담당자들
젊게 변신, 현실감 살린 AI 디에이징

디즈니+ 오리지널 시리즈 ‘카지노’ 속 30대의 젊은 시절부터 60대 현재 모습까지 연기한 배우 최민식. <사진제공=수퍼톤>

1962년생 61세 배우 최민식이 30대 연기에 도전했다. 디즈니+ 오리지널 시리즈 ‘카지노’는 필리핀의 한인 카지노 대부 차무식의 일대기를 그린 16부작. 탁아소에 맡겨졌던 어린 시절부터 학생, 청년 시절을 거쳐 현재를 아우른다. 20대까지는 아역 배우 등이 연기했는데, 30대 이상은 최민식이 소화했다.

피부 관리와 티 안나는 시술을 거친 동안 외모가 비결이냐고? 천만에 말씀. 대배우 최민식의 주름은 시간의 흐름 그대로 여전히 깊다. 대신 그의 시간을 30년 가까이 되돌린 것은 인공지능(AI)을 활용한 ‘페이스·음성 디에이징’ 기술이다. 몇분짜리 장면 보정 수준이 아니라 수회차 분량 속에서 나이대를 자유자재로 넘나든다.

2019년 70대 배우 로버트 드니로 등의 20대 모습을 구현했던 넷플릭스 영화 ‘아이리시맨’보다 제작 비용은 낮아졌고, 구현 수준도 진일보했다. 도대체 어디에 어떤 기술이 쓰였느지 눈치채기도 어려웠다고 따져 묻는다면, 그건 3개월 넘게 후반 작업에 매달린 이들에겐 더없는 극찬이다. 시각효과(VFX)팀의 씨제스걸리버스튜디오와 AI 음성합성을 담당한 수퍼톤 각 책임자에게 ‘최초’ 시도를 이어간 작업 뒷이야기를 들었다.

‘VFX 감독’ 이주원 씨제스걸리버스튜디오 본부장

디즈니+ 오리지널 시리즈 ‘카지노’에서 60세 배우 최민식이 연기한 극중 30대 후반의 캐릭터 차무식. 촬영 원본인 왼쪽에 비해 AI가 작업한 오른쪽은 얼굴과 목의 주름, 피부색이 더 젊어진 모습이다. <사진제공=씨제스걸리버스튜디오>

‘카지노’에 국내 기술로 새로운 페이스 디에이징을 시도한 건 씨제스걸리버스튜디오의 시각효과(VFX)팀. 이 스튜디오는 앞서 넷플릭스 ‘오징어 게임’으로 에미상 특수시각효과상을 거머쥐었던 데 이어 이번엔 연구 단계에 있던 디에이징 기술을 과감히 실용화하는 데 성공했다.

이 과정을 총괄한 이주원 본부장은 “전 세계에서 우리 기술 수준이 완전한 선두는 아니지만 과감하게 AI 디에이징을 작품에 실용화한 건 의미 있는 첫 단계”라고 밝혔다.

이번 디에이징은 촬영 현장에 특수장비는 하나도 쓰지 않고 AI를 활용한 후반작업으로 구현됐다. 예를 들어 스마트폰의 사진 보정 애플리케이션이 사람 얼굴 모양을 찍어낸 뒤 새로운 필터를 씌우는 것처럼, 60대 최민식의 얼굴 위에 AI가 학습한 30대 최민식 얼굴을 합성하는 식이다. 과거 ‘벤자민 버튼의 시간은 거꾸로 간다’ ‘엑스맨’ ‘제미니맨’ 등 할리우드 특수효과 영화에서 배우가 머리에 기계를 장착하거나 얼굴 근육에 점을 찍고 모션 캡쳐를 뜨던 방식에 비하면 제작 과정은 훨씬 간단해졌다.

물론 여기까지 구현하는 과정도 쉽지 않았다. 드라마 영상은 4K 초고화질인데, 30년 전 최민식 영상 자료는 비디오테이프 저해상도라 쓸 만한 자료가 많지 않았다. 이에 AI로 영상 해상도를 끌어올리는 ‘슈퍼 레졸루션’ 기술이나 전통적인 3D 캡쳐 기술도 보완적으로 쓰였다.

‘카지노’에서 페이스 디에이징 시각효과 VFX수퍼바이저를 맡은 이주원 씨제스걸리버스튜디오 본부장. <한주형 기자>

여기에 ‘예술의 영역’인 연기까지 표현하는 건 더 큰 숙제였다. “얼굴을 젊게 만들기 위해 주름을 없앨수록 연기의 디테일이 없어지더라”는 것이다. 배우가 입꼬리를 살짝 떨거나 눈의 힘을 조절하는 등 미세한 근육을 움직여 표현한 감정 변화를 살리기엔 AI만으론 부족했다. 이에 VFX팀은 AI의 공정을 거친 영상 위에 다시 이마·눈·코·턱 등 얼굴 윤곽을 나눠 보정 정도를 일일이 수정했다.

“특히 중견 배우들은 얼굴 주름 하나도 연기의 도구로 진화시켜온 것이더군요. 또 비슷한 시기의 한 인물이더라도 처한 상황에 따라 낯빛이 어둡고 주름이 더 질 수도 있죠. 디에이징 작업은 배우가 표현하려는 감정에 맞춰 따라가야 했습니다.”

디즈니+ 오리지널 시리즈 ‘카지노’에 쓰인 페이스 디에이징은 원본 촬영분의 조명이 어두운 등의 악조건에서도 AI로 젊은 얼굴을 구현하는 데 성공했다. <사진제공=씨제스걸리버스튜디오>

이 본부장은 시나리오 준비 단계부터 테스트 촬영, 현장 촬영, 후반 작업까지 모든 기간 강윤성 감독과 제작진·배우와 소통하며 화면에 구현될 ‘젊은 최민식’의 얼굴을 만들었다. AI 작업뿐 아니라 분장, 조명, 편집 등 많은 팀들이 함께 했다.

물론 어떤 작품에선 과도한 설정과 효과가 시청자 몰입을 방해하는 요소로 지적되기도 한다. 짧은 제작기간, 한정적인 제작비 등 현실 자체가 큰 장벽이다. 이 본부장은 “시청자의 평가 기준이 높아지고 있다”며 “‘카지노’에서도 완벽한 30대를 구현한 건 아니지만 배우의 예전 모습과 현재의 연기 사이 접점을 구현해냈다는 점에서 소기의 성과가 있었다”고 말했다.

‘AI 음성합성’ 이승복 수퍼톤 콘텐츠사업본부장

배우 최민식의 원본 목소리와 AI를 통해 30세로 디에이징한 목소리 스펙트로그램. 60대 목소리는 주파수가 흩어져있지만 30대 목소리는 더 안정적으로 이어진다. 실제로도 더 높은 음고, 또렷한 발음으로 들린다. <사진제공=수퍼톤>

배역의 얼굴이 젊어진 것으론 충분치 않다. 그 얼굴 위에 나이 들어 걸걸하고 낮아진 목소리로 말한다면 리얼리티는 떨어지게 마련이다. 음성 합성·분리 원천기술을 보유한 스타트업 수퍼톤은 60대 최민식의 목소리도 30대로 구현시켰다. 앞서 방송 프로그램을 통해 고(故) 김광석, 임윤택 등 레전드 가수의 목소리를 복원하는 기술을 선보여 주목받았는데, 노래를 뛰어넘어 연기하는 목소리까지 AI로 만든 것이다.

페이스 디에이징과 마찬가지로 음성 디에이징도 영상 작업물에 쓰인 건 세계 최초 수준의 시도다. 이승복 수퍼톤 콘텐츠사업본부장은 “앞선 영화 아이리시맨이 디에이징 기술로 주목받았지만, 얼굴만 젊어지고 목소리는 그대로라 오디오 업계에선 풀지 못하는 숙제 같은 영역이었다”며 “기술 연구를 하고 있던 차에 마침 작품 의뢰가 들어오면서 성과를 이루게 됐다”고 말했다.

촬영 현장에서 동시녹음된 배우의 목소리를 ‘가우디오랩’에서 AI 음성 분리기술을 이용해 최대한 잡음 없이 깨끗하게 가공해주면, 수퍼톤은 자체 기술인 ‘에이지 슬라이더’ ‘보이스 진’ 등을 활용해 ‘30대 차무식’의 목소리를 새롭게 만들었다. 대중이 기억하는 최민식의 젊은 시절, 최민식이 이번 작품을 통해 표현하려고 한 캐릭터, 시청자에게 어색하지 않은 톤 등이 모두 어우러진 목소리를 찾는 데 공을 들였다.

‘카지노’에서 배우 최민식의 목소리를 젊게 만든 AI 음성 합성을 담당한 수퍼톤의 이승복 콘텐츠사업본부장. <이승환 기자>

“최민식님이 대단한 배우라고 느낀 게, 30대 시절 남긴 음성은 많지만 막상 캐릭터마다 연기는 다 달랐어요. 과거의 ‘서울의 달’(1994) ‘넘버3’(1997) ‘파이란’(2001) ‘올드보이’(2003) ‘범죄와의 전쟁’(2012) 등 작품을 다양하게 참고해 AI로 가장 차무식에 적합한 목소리를 구현해봤고 최종 뉘앙스를 찾는 데 많은 시간이 걸렸어요. 이후 변환 작업은 비교적 수월했습니다.”

이 본부장은 음성 합성이 잘 녹아든 장면으로 2회, 특히 무식(최민식)과 동갑내기 친구 동억(이종윤)이 필리핀 숙소에서 대화하는 장면을 꼽았다. “친구끼리 편한 대화지만 실제 원본 영상과 음성에선 배우간 나이차가 느껴졌거든요. 그래도 오디오 원본의 질이 좋았고 변환 결과물도 자연스러워서, 장면이 완성된 후 ‘잘 나왔다’고 생각했습니다.”

수퍼톤은 앞으로도 문화·예술 분야에도 쓰일 수 있는 극사실주의 AI 음성을 발전시키겠단 목표다. 예를 들어 우리나라 배우가 한국어로 연기한 영상 위에 입히는 외국어 더빙을 AI가 대신할 수 있는 정도까지 기술 수준이 올라왔다. 배우가 가진 고유한 음색을 그대로 살려 언어 제약 없이 더빙할 수 있다.

“원본 목소리 없이도 얼마든지 젠더·국적·인종별 새로운 캐릭터 목소리가 나올 수 있어요. 다만 이걸 고유한 창작물로 볼 수 있는지, 시청자 거부감은 없을지 계속 고민해야 하는 부분이죠. 상상을 현실로 만드는 AI 기술이 어디까지 상용화될지 기대됩니다.”