카메라만으로 이런 모션캡처를? 한층 더 발전한 '메타휴먼'

현지 시각으로 17일부터 18일까지 양일간 개최되는 '언리얼 페스트 2026 시카고'는 언리얼 엔진과 그 생태계의 다양한 기술 세션을 듣는 것은 물론, 그 결과물을 직접 체험할 수 있는 장이었다. 실제로 언리얼 엔진으로 구현한 다양한 게임들도 출전한 가운데, 에픽게임즈는 이러한 게임사들이 유용하게 활용할 수 있는 다양한 기술들을 직접 체험할 수 있는 공간도 마련했다.

그 중 가장 먼저 눈에 띄는 것은 에픽게임즈가 그간 핵심 기술로 내세웟던 '메타휴먼'이었다. 누구나 쉽게 가상의 인간을 바로 활용해서 게임이나 콘텐츠를 만들 수 있도록 하는 툴이자 기술로, 지난 17일 진행한 키노트 발표를 통해 데브킷도 무료로 공개됐다.

'무료'라는 단어가 임팩트가 너무 강한 만큼, 그로 인해서 메타휴먼 관련한 다른 세부 사항을 접하기는 어려웠다. 이와 관련해 에픽게임즈는 언리얼 페스트 2026 시카고 현장에서 메타휴먼 시연을 위한 특별한 부스를 설치, 실제로 직접 참여해보면서 각종 정보를 듣는 세션을 진행했다.

스케치 한 장으로 가상 인간의 전신 모델까지, 메쉬 투 메타휴먼

가장 먼저 소개된 변화는 기존의 머리 스캔 중심에서 전신(Full Body)으로 확장된 '메쉬 투 메타휴먼(Mesh to MetaHuman)' 기능이다. 이제 개발자들은 스캔 데이터나 외부 툴(Meshy, Tripo 등)로 생성한 다양한 이족 보행 캐릭터 메쉬를 가져와 클릭 몇 번만으로 완전히 리깅된 메타휴먼 전신 캐릭터로 자동 변환할 수 있다. 캐릭터가 기본 포즈(A-pose) 상태라면 의상, 액세서리, 텍스처까지 한 번에 자동 전송된다.

그래픽 품질과 제작 환경의 싱크를 맞추기 위한 개선도 돋보였다. '메타휴먼 크리에이터' 내부로 실제 게임 씬의 라이팅과 렌더 설정을 그대로 가져올 수 있게 되어, 제작 엔진과 인게임 화면 간의 시각적 격차를 완전히 해소했다. 또한 포토샵 등 외부 툴에서 수정한 베이크되지 않은 텍스처의 변경 사항을 크리에이터 상에서 즉각 확인할 수 있어 고블린이나 괴물 같은 개성 넘치는 캐릭터 제작도 한층 수월해졌다. 품질 저하 없이 텍스처 용량을 최대 10분의 1까지 압축(140MB -> 10MB)해주는 '스케일러블 노멀 텍스처(Scalable Normal Textures)' 역시 시각적 충실도를 지키는 핵심 기술로 소개됐다.

"장비 부족해도 OK"… 카메라 단 한 대로 구현하는 '마커리스 모션 캡처'

애니메이션 파이프라인에도 편의성이 더해졌다. 새롭게 도입된 '마커리스 모션 캡처(Markerless Motion Capture)' 플러그인은 특수 마커나 고가의 장비 없이, 단 하나의 카메라와 한 명의 배우만으로 얼굴과 상체 애니메이션을 동시에 추출해 메타휴먼에 적용한다. 특히 모든 비디오 데이터는 클라우드가 아닌 로컬 머신(윈도우 전용)에서 오프라인으로 안전하고 빠르게 처리되는 것이 특징이다.

오디오 기반 애니메이션에는 한층 더 자연스러운 '절차적 눈깜빡임'이 추가되어 캐릭터의 생동감을 높였으며, 메타휴먼 애니메이터의 지원 OS 역시 리눅스와 맥OS까지 확장됐다. 대규모 프로젝트를 위해 파이썬(Python)과 블루프린트로 제어할 수 있는 배치 프로세싱(일괄 처리) 시스템도 전면 재작성되어, 개발자들이 렌더링 파이프라인처럼 밤새 데이터를 자동 처리할 수 있는 환경을 구축했다.

"렉 없는 1,000인 군중 씬" 최적화 기술 'ISKM'과 오픈소스 데브킷 선언까지

그 다음으로는 언리얼 엔진 5.8 버전에 실험적 기능으로 추가되는 '메타휴먼 크라우드(MetaHuman Crowds)' 시연이 이어졌다. '메타휴먼 크라우드'는 현세대 콘솔과 PC 환경에서 나나이트(Nanite) 및 매스 프레임워크(Mass Framework)를 활용해, 최대 1,000~1,500명에 달하는 각기 다른 외형의 군중을 초당 60프레임으로 매끄럽게 구동할 수 있는 기능이다.

이러한 최적화 비결로는 인스턴스 스킨 메쉬 컴포넌트(ISKM)' 기술이 손꼽혔다. 카메라와 가까운 캐릭터는 고품질 액터로 표현하되, 먼 거리의 군중은 시각적인 끊김 현상 없이 GPU 기반의 ISKM으로 앞뒤로 심리스하게 전환된다. 복잡한 헤어(그룸) 연산 역시 스켈레톤이나 텍스처 형태로 변환 및 베이크하여 연산 부하를 획기적으로 줄였다. 현재 FAB을 통해 해당 기술이 적용된 샘플 씬과 스타터 키트를 직접 다운로드할 수 있다. 아울러 메타휴먼 데브킷이 지난 17일 MIT 라이선스로 전격 공개, 언리얼 엔진 외에도 타 엔진과 플랫폼에서도 법적·기술적 제약 없이 쓸 수 있게 된다.

직접 체험한 '마커리스 모션 캡처', 수트 없이도 이 정도라니

세션이 종료된 이후, 현장에서는 직접 마커리스 모션 캡처를 체험하는 기회가 주어졌다. 마커리스 모션 캡처를 위해서는 우선 플러그인을 설치한 카메라와 PC로 접근해 스켈레톤을 카메라로 촬영된 자신의 모습에 적용해야 했다. 그 후 카메라 헬멧을 장착하면 얼굴의 표정은 물론 신체의 각 부위의 정밀한 움직임을 부스에 설치한 카메라와 함꼐 포착해서 고스란히 메타 휴먼에게 전달됐다.

물론 엄밀히 말해서 100% 실시간은 아니었다. 짧은 시간이긴 했지만 원본 인물의 움직임이 발생한 후 약간의 딜레이가 발생한 뒤에 이를 따라하는 양상이었다. 그렇지만 기존의 모션 캡처 작업이 헬멧과 수트, 글러브까지 다 착용해야 하는 반면 헬멧 하나만 써도 상당히 정교한 동작을 캐릭터가 그대로 따라하고 애니메이션이 입력되는 과정은 사뭇 놀라웠다.

이전에 상체만 정교하게 구현했던 것을 떠올려서 좀 무모하게 나이키 자세를 도전해봤다. 되도 않는 몸짓이 나왔지만, 그 엉거주춤한 몸짓 하나하나를 머리 끝부터 발끝까지 고스란히 따라하는 장면은 사뭇 놀라웠다. 심지어 그때는 카메라 헬멧은 점검 때문에 벗어둔 상태였는데, 주변 카메라에서 체크한 것만으로도 이를 수행한 것이다. 물론 카메라 헬멧이 없어서 손가락으로 각종 동작을 취하는 걸 100% 따라하진 못했지만, 전체적인 플로우를 놓치지 않고 확실하게 캡처 작업이 이어졌다는 건 인상적이었다.

이 말을 살짝 뒤집으면, 헬멧을 쓴 1인 외에 여러 명이 동시에 모션 캡처에 참여할 수 있다는 말이기도 했다. 실제로 마지막에 개발자와 초청가수 둘이 모션 캡처무대를 진행했는데, 헬멧을 쓴 사람은 한 명임에도 큰 동작에서는 누구의 흠을 잡기 어려울 정도로 모션 캡처가 잘 되고 있었다. 그 모션 캡처로 애니메이션 데이터를 바로 뽑아서 개발에 사용하는 과정까지는 보지 못한 것이 아쉽지만, 최초 사람의 겉모습만 렌더링했던 메타휴먼 얼리액세스 시절을 떠올리면 장족의 발전이 아닐 수 없다. 이제 오픈 데브킷으로 사용자가 늘어나면서 더더욱 많은 피드백을 받게 될 '메타휴먼'이 앞으로 어떻게 발전할지 그 귀추가 주목된다.

인벤 원문보기바로가기