“에스파 없는 에스파 1열직관 말이 돼?”…‘이것’만 쓰면 가능하다고? [교과서로 과학뉴스 읽기]

메타버스 때문에 한 때 세상이 들썩였습니다. 코로나19로 비대면 서비스가 확대되면서 메타버스에서 일하고, 회의하고, 유희를 즐기는 게 곧 일상이 될 것 같았어요. 페이스북은 사명을 ‘메타’로 바꾸기도 했습니다. 하지만 너무 빨랐죠. 메타의 CEO 마크 저커버그는 “내가 잘못했다”라며 대규모 감원을 시행하기도 했습니다. 그런데 말입니다.

메타버스, VR, AR과 같은 미래는 아직은 이를지 모르지만 언젠가는 올 미래입니다. 메타의 선택은 틀렸다기보다는 ‘너무 빨랐다’라고 보는 게 맞을 것 같습니다. 지금도 메타버스를 구현하기 위한 다양한 기술들이 빠르게 발전하고 있습니다.

저는 이번 주, 언젠가 올 미래의 콘서트를 경험하고 왔습니다. 바로 VR 헤드셋을 끼고 아이돌의 음악을 즐기는 일명 ‘VR 콘서트’에요. 지난달 25일부터 이달 21일까지 서울 강남구 메가박스 코엑스에서는 ‘링팝 : 더 퍼스트 VR 콘서트 에스파’라는 제목으로 콘서트가 진행 중입니다. 에스파, 유명한 아이돌입니다(만 저는 VR 서비스를 취재하며 처음 알았습니다).

에스파 입니다. <사진=어메이즈VR>

에스파, VR 콘서트 체험

5년 전, 경주에 있는 VR 게임 체험방에서 무거운 VR 헤드셋을 끼고 우주 공간에 들어가 커다란 기관총을 들고 외계인과 좀비들을 무찌른 경험이 있던 만큼 VR 콘서트에 대한 거부감은 딱히 없었습니다. 다만 오래 게임을 할 경우 어지러움을 느꼈고 고개를 돌리면 목이 아플 만큼 무거운 헤드셋을 끼고 게임을 했던 기억이 납니다. 그사이 기술은 얼마나 발전했을지, 기대감을 갖고 메가박스로 향했습니다. 이번 주 교과서로 과학뉴스 읽기는 VR 콘서트에 적용된 기술을 설명하려 합니다. VR콘서트 체험기와 함께요.

상영 시간은 평일 오전으로 정했습니다. 오후에는 일정이 많을 뿐 아니라 혼자 가야 했기 때문입니다. 중년으로 접어드는 나이였기에, 혼자서 여성 아이돌의 VR 콘서트를 보러 간다는 것에 대한 주변의 시선이 솔직히 걱정됐습니다. 오전 9시 40분에 도착해 표를 제시했더니 오전 10시부터 들어가라고 합니다. 관람객에는 랜덤으로 뽑을 수 있는 박스를 주었습니다. 말로만 듣던 ‘랜덤 박스’였나봅니다. 안에는 에스파 멤버의 사진이 들어 있었고요.

이런 크기의 극장에서 콘서트가 시작됩니다. <사진=원호섭 기자>

10시가 되어 들어갔습니다. 저 혼자일 줄 알았는데 5분 뒤 몇 명의 관람객이 들어와 제 옆에 앉았습니다. 모두 여성분이었는데 괜히 민망했습니다. 저는 기술의 변화가 얼마나 빨리 이뤄졌는지 보러 왔습니다, 라고 말하고 싶었지만 부끄러움이 많았기에 조용히, 시크한 척 앉아 있었습니다.

콘서트 시작을 앞두고 앞쪽에서 메가박스 직원이 VR헤드셋을 쓰는 법을 알려줬습니다. 안경을 쓰고 있기에 불편할 줄 알았지만 착용감이 부드러웠습니다. 고개를 좌우 위아래로 움직이는 ‘셋팅’ 과정을 거치고 나니 ‘손을 앞으로 내밀어주세요’라는 안내 설명이 나왔습니다. 손을 눈 앞으로 올리니, 눈앞의 메타버스 공간에 제 손이 나타나는 게 아니겠어요. 신기해서 빠르게 주먹을 쥐었다 폈다를 반복해 봤습니다. 눈앞의 ‘가상 손’은 자연스럽게 움직였습니다. 쉼 없이 움직이다 보니 문득 앞뒤에 서 있던 메가박스 직원들이 저를 어떻게 생각할지 부끄러웠습니다.

가장 놀랐던 장면은 눈앞에 나타난 ‘팔찌’를 꼈을 때였습니다. 마블의 영화 ‘아이언맨 1’에서 토니가 자비스와 함께 가상공간에서 설계하는 장면, 기억하시나요(아래 사진). “팔찌를 껴세요”라는 말에 제 손을 움직였더니 팔찌가 팔목에 ‘착’ 맞아 떨어졌습니다. 이어 에스파가 나타났습니다. 배경은, 마치 어벤저스에 등장하는 외계 행성 같았어요. 아이언맨, 스파이더맨, 닥터 스트레인지 등이 타노스와 겨루던 그 행성 말입니다.

가상 공간에 만든 슈트에 팔을 껴보는 토니 스타크

왼쪽 눈, 오른쪽 눈의 시선 차이 이용한 VR

본격적으로 에스파의 무대가 시작되기 전에 VR 기술에 대한 설명을 드리고 갈게요. VR 디스플레이는 ‘양안 시차’를 이용합니다. 양안 시차란 왼쪽 눈과 오른쪽 눈이 같은 사물을 바라볼 때 발생하는 시차를 의미합니다. 앞에 있는 사물을 바라볼 때 오른쪽 눈을 감아보세요. 그리고 왼쪽 눈을 감아보세요. 위치가 달라집니다. 이 차이가 바로 양안 시차입니다. 우리 뇌는 양안시차의 이미지를 조합해 입체감을 만들어 냅니다. 즉 VR기기는 오른쪽 눈과 왼쪽 눈에 서로 다른 영상을 보여줍니다. 옛날 4D 영화가 인기를 끌었을 때, 4D 안경을 벗고 영상을 보면, 영상이 흐릿한 것을 보실 수 있으셨을 거예요. 양안 시차를 고려해 만든 영상이기에 그렇습니다.

그러면 VR 영상 제작은 어떤 과정을 통해 이루어질까요. 과정은 복잡지 않습니다. 먼저 180도의 화각을 가진 렌즈 두 개를 이용해 그린(Green) 배경에서 인물을 촬영합니다. 이때 그린 배경에서 인물을 촬영하는 이유는 ‘크로마키’로 알려진 방식을 이용해 인물을 배경에서 분리하기 위함입니다. 인물을 배경에서 분리하고 나면, 이제 새로운 배경이 될 가상의 공간을 만들 차례입니다. 이를 위해서는 영화 제작 시 사용되는 3D 렌더링 기술이 이용됩니다. 마지막으로 분리된 인물과 배경을 합성해서 VR 영상을 만들어 냅니다.

하지만 말처럼 이 과정이 쉽지는 않습니다. 에스파 VR 콘서트에는 스타트업 ‘어메이즈VR’의 기술이 녹아 있습니다. 어메이즈VR의 기술을 살펴볼게요.

180도 렌즈를 통해 얻은 영상은 왜곡이 심하기 때문에, 그대로 사용할 수 없습니다. 렌즈가 가진 제조상의 한계가 더해져 이 과정을 어렵게 만듭니다. 어메이즈VR은 AI 기술을 통해서 이 왜곡을 수정합니다. 이렇게 얻어진 수학적으로 완벽한 이미지는 배경과의 자연스러운 합성을 가능하게 합니다.

배경 제작에 사용된 ‘렌더링 툴’ 또한 중요합니다. 기존 영화에서 사용되는 방식으로는 ‘8K’가 넘는 양안 영상을 만드는데 큰 비용과 시간이 소요됐습니다. 어메이즈VR이 만든 ‘분산 렌더링’ 기술을 통하면 24시간 이상 걸리던 과정을 불과 2시간 만에 단축할 수 있습니다. 이제부터는 공연 이야기를 하겠습니다.

정말 눈앞에서 이런 응원봉이 전달됩니다. 손을 쥐면, 제 손에 딱 잡혀요. <사진=어메이즈VR>

눈앞에 진짜 사람이 있는 듯한 착각

중년의 기자는 솔직히 부담스러울 정도로 눈앞에서 아이돌이 움직였습니다. 보려고 본 것은 절대 아닌데, 팔뚝에 있는 핏줄까지 보일 정도였습니다. 실제 에스파라는 아이돌이 눈앞에서 공연을 펼치고 있다는 기분을 받았습니다.

에스파 멤버들은 앞에서 움직이는 카메라를 보면서 춤을 췄겠죠. 4명의 멤버들을 쳐다보면 모두 저를 바라보고 있는 듯한 착각을 느끼게 했습니다. 공연 중간에 에스파 멤버가 제게 응원봉을 줬습니다. 손바닥을 펴 움켜쥐었더니 손에 응원봉이 잡혔습니다. 손바닥을 펴니, 응원봉이 사라졌습니다. 주먹을 쥐니, 다시 나타났습니다. 흔들어 봤습니다. 실제 공연장에서 응원봉을 들고 관람하는 느낌을 받았습니다. 몇번 흔들다가 또 이내 부끄러워져 손을 내렸습니다. 오른손에 들고 있던 응원봉을 왼손으로 옮기는 것도 가능했습니다.

곳곳에 여러 기술이 숨어 있었습니다. 분명 에스파 멤버는 제 눈앞에 있었습니다. 손을 내밀면 어떻게 될까 궁금해 슬쩍 손을 앞으로 뻗어봤어요. 잡히지 않았습니다. 당연하죠. 그렇다고 제 손이 그들의 몸을 통과하는 것도 아니었습니다. 어메이즈VR은 ”앞으로 나가면 에스파 영상은 뒤로 빠진다“라고 설명을 했습니다. 즉 눈앞에 있는 에스파가 ‘영상’에서 그치는 게 아니라, 사용자 입장에서는 ‘에스파가 있는 공간에 들어와 있는 느낌’을 주는 것이라고 합니다.

여럿이서 함께 관람했다면 이런 모습일 겁니다. 저는 사람이 없는 평일에 갔기에 마음껏 응원하기가 부끄러웠습니다. <사진=어메이즈VR>

약 40여분의 공연이 끝났습니다. 너무 짧은 게 아닐까 했는데, 시간이 지나면서 헤드셋을 제대로 착용하지 않았는지 조금씩 흘러내리기 시작했습니다. 안경을 쓰고 있는 것도 시간이 지나니 불편해졌습니다. 그 불편함이 커질 때쯤, 공연이 끝이 났습니다. 함께 콘서트를 관람한 사람들 모두 ”우와 우와“하며 헤드셋을 쓰고 있어서 나누지 못한 신기함을 이야기하고 있었습니다. 저는 행여라도 눈이 마주칠까 끝나고 상영관의 불이 켜지자마자 바로 밖으로 나왔습니다.

어메이즈VR은 지난해 글로벌 최대 영화관 체인으로 꼽히는 미국의 AMC에서 메간 디 스탤리언 VR 콘서트 투어를 진행하기도 했습니다. 앞으로 K팝 콘서트를 VR 기반의 콘서트로 자주 볼 수 있을 것 같습니다. 해외 팬들이 한국을 방문할 때 꼭 즐겨야 하는 투어 코스로도 활용할 수 있겠다는 생각이 들었습니다. 내년에 출시가 예정된 애플의 VR기기 ‘비전프로’는 메타 퀘스트2보다 디스플레이 화소 수가 약 3.3배 많다고 합니다. 어메이즈VR은 이와 발맞춰 보다 사실적인 화질을 구현할 수 있는 기술을 꾸준히 개발해 나간다는 계획입니다. VR 헤드셋 기반의 메타버스 시대, 생각보다 빨리 올 것 같습니다.