"옷 주름까지 생생하게"…KAIST, 물리 기반 생성형 AI 개발
AI가 단순히 '그럴듯하게 그리는 수준'을 넘어 옷이 왜 흔들리고 주름이 생기는지, 물리적 원리까지 이해하는 시대가 열렸습니다.
KAIST 전산학부 김태균 교수 연구팀이 기존 2D 기반 영상 AI의 한계를 넘어 3차원 공간에서의 움직임과 상호작용을 실제 물리 법칙처럼 학습하는 생성형 AI 'MPMAvatar'를 개발했습니다.
기존 생성형 AI는 2차원 영상의 픽셀 정보를 중심으로 이미지를 합성해, 입체감이나 움직임의 자연스러움에 한계가 있었습니다.
연구팀은 이를 해결하기 위해 가우시안 스플래팅으로 여러 시점에서 찍은 영상을 3차원 공간에 입체적으로 재구성하고, 여기에 물체의 움직임을 실제 물리 법칙처럼 계산하는 물리 시뮬레이션 기법(MPM) 결합하는 새로운 방식을 제안했습니다.
이를 통해 AI가 단순히 그리는 수준을 넘어 물체의 재질이나 형태, 외부 힘에 따라 어떻게 움직이고 변형되는지 스스로 학습하도록 만든 겁니다.
연구팀은 3차원 공간을 수많은 점으로 쪼개 각 점이 실제 물체처럼 움직이게 함으로써 옷자락이 흔들리거나 천이 구겨지는 자연스러운 움직임을 구현했습니다.
특히 얇은 천처럼 복잡한 물체가 부딪히는 장면도 정교하게 표현할 수 있도록 새로운 충돌 처리 기술도 함께 개발했습니다.
이 기술을 적용한 생성형 AI 모델 MPMAvatar는 느슨한 옷을 입은 사람의 동작을 사실적으로 재현하고, 학습 과정에서 본 적 없는 데이터도 스스로 추론해 만들어내는 제로샷 생성 능력도 입증했습니다.
이 기술은 영화와 게임, 메타버스 속 아바타의 현실감을 높이고, 가상 프로덕션과 숓폼, 광고 등 실감형 콘텐츠 산업 전반의 효율성을 크게 높일 것으로 기대됩니다.
또한 모션 캡처나 3D 그래픽 수작업을 줄여 제작비 절감과 제작 기간 단축 효과도 예상됩니다.
연구팀은이 현재 기술을 발전시켜 텍스트 입력만으로도 물리적으로 일관된 3D 영상을 생성하는 AI 모델 개발을 추진하고 있습니다.
이번 연구는 AI 분야 최고 권위 국제학술대회인 NeurIPS에서 오는 12월 발표되며, 프로그램 코드는 모두 공개돼 학계와 산업계의 활용이 확대될 전망입니다.
김건교 취재 기자 | kkkim@tjb.co.kr
Copyright © TJB