150개 모션캡처 옷 입고 150개 센서 부착..나비족 눈물까지 만들었다

아바타2' 속 과학.. 진짜보다 더 진짜 같은 쵤영 비밀은
국내외 흥행가도 속 VFX(시각효과) 기술 눈길
7000장 고품질 얼굴 스캔자료 얻고, 딥러닝 공정 적용
인간공학으로 양쪽 눈 귀 차이 줄여
192분 러닝타임 3D 어지럼증 덜어

[이데일리 강민구 기자] 13년 만에 돌아온 영화 ‘아바타2:물의 길’이 국내 관객 900만 돌파를 앞뒀고, 글로벌 수익도 17억 달러(2조 1216억원)를 돌파하며 흥행하고 있다. 진짜보다 더 진짜 같은 컴퓨터 그래픽 장면들이 관심을 모은다. 거대한 고래처럼 생긴 ‘톨큰’의 두 눈 속에 흠뻑 빠질 것 같기도 하고, 물속 작은 기포까지 섬세하게 표현해낸 부분은 마치 거대한 수족관에 온 것과 같은 착각에 빠지게 만든다.

어떻게 이러한 장면을 구현할 수 있었을까. 그 배경에는 VFX(시각효과)기술과 딥러닝으로 대표되는 인공지능 기술 발전이 있다. VFX 기술은 컴퓨터 그래픽으로 인물이나 배경을 구현하고, 작업 공정을 자동화하는 방식으로 발전하고 있다는 점에서 과학과도 밀접하게 관련 있다.

실제 제작에 새로운 얼굴 애니메이션 공정 적용

기본적으로 영화 장면 대부분은 ‘허구’다. 뼈대 작업부터 모델링, 합성, 보정 작업 등을 하나하나 거쳐야 한다. 영상 작업에는 마야(MAYA), 누크(Nuke)와 같은 상용 소프트웨어도 많이 쓴다. 최근에는 사진이나 영상을 인식해 기본 뼈대를 그려주는 도구도 나오고 있다. 특히 VFX 기술의 발전으로 얼굴, 물속 풍경, 머리카락, 피부 등을 더 섬세하게 표현하고, 일부 작업은 자동화되고 있다. 이보다 섬세한 표현을 하기 위해 일부 장면은 직접 촬영하기도 한다. 이번 아바타2 영화 제작 과정에서도 배우들이 ‘동작 획득 옷(Motion Capture Suit)’을 입고, 물 속에서 연기했던 이유도 이 때문이다.

영화 제작에 참여한 기술진에 따르면 아바타2에서 영화 속 주인공급 캐릭터 10여 명의 얼굴 스캔 자료를 통해 가상의 얼굴 모델을 만들고, 실제 장면에서는 만들어 진 모델과 촬영된 150개의 얼굴 특징점을 기반으로 실제 같은 캐릭터 표정을 추정했다.

웨타디지털(현 유니티)의 얼굴기술책임자인 최병국 박사는 “이번 영화에서 가장 획기적인 기술 중 하나는 새로 개발한 얼굴 애니메이션 공정과 이를 위한 알고리즘들”이라며 “세밀한 얼굴표정을 만들어 내기 위해 모든 주연급 배우에 대해 7000장 정도의 고품질 얼굴 스캔 자료를 얻었고, 이를 기반으로 가상의 얼굴 모델, 나아가 아바타 캐릭터의 표정으로 바꾸는 기술까지 딥러닝 등을 활용해 개발했다”고 설명했다.

최 박사는 “특히 얼굴의 인지적 관점(Facial Action Unit)과 선형 모델(Blendshape)에 기반한 기존 방식의 한계를 극복하기 위해 생체역학적인 얼굴 근육 움직임의 해석을 이용한 새로운 얼굴표정 생성 기술을 개발했다”면서 “이를 통해 아바타가 말할 때의 얼굴 움직임처럼 미세한 근육에 의한 표정 변화들을 성공적으로 포착할 수 있었다”고 설명했다.

업계에서 캐릭터 얼굴에 특징점을 만들어 표정을 추정하려는 연구도 활발하다.(자료=씨그래프 컨퍼런스)

신기술 도입 활발..초고성능 컴퓨터 등 적용

업계에선 아바타2를 기점으로 영화에서 점점 더 정교한 작업이 요구되고 있다고 했다. 영화, 애니메이션 제작에 VFX기술이 빅데이터, 인공지능이라는 날개를 달고 활용도가 커지고 있는 것이다.

국내 VFX 전문가인 노준용 한국과학기술원(KAIST) 문화기술대학원 교수는 “1980년대 영화 스타워즈부터 적용된 VFX 기술이 아날로그에서 디지털로 변화하면서도 발전하는 추세”라며 “유체 시뮬레이션이나 캐릭터 애니메이션 등 VFX 의 핵심기술들이 딥러닝 기반 학습방식이 접목되면서 더 현실감이 넘치는 콘텐츠을 만들 수 있게 됐다”고 설명했다.

더 많은 자료를 얻고, 이를 가공해야 한다는 점에서 초고성능 컴퓨터도 요구된다. 노 교수는 “3차원 캐릭터를 표현하는 과정에서 딥러닝과 병렬 처리를 위해 GPU 서버들이 활용되거나 사실적인 외양 표현을 위해 렌더팜(Render Farm) 이라고 부르는 수 만대의 병렬로 연결된 컴퓨터들의 작업을 도와주고 있다”고 덧붙였다.

이번 아바타2 영화가 전작 대비 어지럼증을 줄인 것처럼 더 실제 같은 감정을 느낄 수 있는 장비와 콘텐츠를 개발해 다른 영화에 적용하려는 시도도 이어지고 있다. 가령 우리 두 눈은 구조상 양쪽 눈(양안)에 시선 차이가 있다. 특수 안경을 쓰고 영화를 보면 겹쳐 있는 두 화면을 양쪽 눈이 나눠 보는 것처럼 인식한다. 귀의 전정기관이 예민하거나 하면 입체 영상을 제대로 인지하지 못해 사람에 따라 어지러움을 느낄 수 있다.

이러한 피곤함을 덜어주기 위해 ‘인간 공학 엔지니어링(Human Factor Engineering)’ 관점에서 기술 개발이 이뤄지고 있다. 정일권 한국전자통신연구원(ETRI) 콘텐츠연구본부장은 “양안 시차만으로 입체감을 인식하는 방식의 한계 때문에 예민한 사람들은 3차원 영상을 보는데 어지러움을 느낄 수 있다”면서 “아바타2도 긴 러닝타임(192분)에도 전작에 비해 덜 어지럽다는 특징이 있는데 편안한 3차원 영상을 구현해 실제 느낌은 살리면서도 인체의 피곤함을 줄이는 기술이 업계에 적용되고 있다”고 했다.

강민구 (science1@edaily.co.kr)