사진 한 장으로 3D 캐릭터 포즈 바꾼다…UNIST, 왜곡 줄인 AI 개발

[이데일리 김현아 기자] 울산과학기술원(UNIST)이 사진 한 장만으로 3D 캐릭터의 자세를 바꾸되, 팔·다리 등이 ‘엿가락처럼’ 휘는 형태 왜곡을 크게 줄이는 인공지능(AI) 기술을 개발했다.

여러 각도 영상이나 연속 비디오 데이터가 부족해도 3D 캐릭터를 자연스럽게 움직일 수 있어 메타버스·게임·애니메이션 등 3D 콘텐츠 제작 과정이 한층 간단해질 것으로 기대된다.

(좌측부터) 주경돈 교수, 김진혁 연구원(제1저자), 방재훈 연구원, 서승현 연구원.

UNIST는 인공지능대학원 주경돈 교수팀이 ‘디폼스플랫(DeformSplat, Rigidity-aware 3D Gaussian Deformation)’을 개발했다고 25일 밝혔다.

디폼스플랫은 3D 가우시안 스플래팅(3D Gaussian Splatting)으로 만들어진 3D 캐릭터에, 목표 동작이 담긴 2D 사진을 입력하면 3D 캐릭터가 사진 속 포즈를 그대로 따라 하도록 자세를 변형한다.

3D 가우시안 스플래팅은 2D 이미지로부터 3D 객체를 재구성하는 데 강점이 있지만, 재구성된 3D 캐릭터를 실제 콘텐츠처럼 움직이게 하려면 보통 여러 각도 영상이나 연속 촬영된 비디오 데이터가 필요했다.

데이터가 부족하면 움직임 과정에서 팔·다리·몸통 비율이 무너지거나 관절이 고무처럼 늘어나는 왜곡이 쉽게 발생하기 때문이다.

연구팀은 디폼스플랫으로 변형한 3D 캐릭터가 시점을 옆이나 뒤로 바꿔 봐도 형태 왜곡이 적고 자연스러운 자세를 유지하는 것을 실험으로 확인했다고 설명했다.

예컨대 팔을 드는 동작을 입력했을 때 정면뿐 아니라 측면·후면 시점에서도 팔과 몸통 비율이 흐트러지지 않았고, 관절이 비물리적으로 늘어나는 현상도 거의 나타나지 않았다.

핵심 기술은 두 가지다. 먼저 ‘가우시안-픽셀 매칭(Gaussian-to-Pixel Matching)’을 통해 3D 캐릭터를 이루는 가우시안 점과 2D 사진의 픽셀을 연결해, 사진에 담긴 자세 정보를 3D 변형으로 전달한다.

여기에 ‘강체 부위 분할(Rigid Part Segmentation)’을 적용해 자세를 바꿀 때 함께 움직여야 하는 단단한 부위를 AI가 스스로 찾아 그룹으로 묶는다. 이를 통해 로봇이나 인형처럼 형태가 유지돼야 하는 영역이 찌그러지거나 늘어나는 현상을 줄였다는 설명이다.

개발된 AI 모델의 기능. 3D 캐릭터의 자세를 빨간박스 안의 캐릭터의 자세로 바꿀 수 있다.

주경돈 교수는 “기존 기술은 사진 한 장만으로 3D 물체를 움직이려 하면 형태 훼손이 심각해지는 한계가 있었다”며 “이번 기술은 물체의 구조적 특성을 고려해 뼈대 역할을 하는 영역을 구분하고 움직임을 생성해, 전문 인력과 고가 장비에 의존하던 3D 콘텐츠 제작의 진입 장벽을 낮출 수 있을 것으로 기대된다”고 말했다.

이번 연구 성과는 SIGGRAPH ASIA 2025(The 18th ACM SIGGRAPH Conference and Exhibition on Computer Graphics and Interactive Techniques in Asia)에 채택됐다. 학회는 지난 15일부터 18일까지 홍콩에서 열렸다. 논문 제목은 ‘Rigidity-Aware 3D Gaussian Deformation from a Single Image’다.

연구는 과학기술정보통신부와 정보통신기획평가원(IITP), UNIST 인공지능대학원의 지원을 받아 수행됐다.

김현아 (chaos@edaily.co.kr)