[쫌아는기자들] 메타가 클레온과 비밀 실험 프로젝트(NPE)을 한 이유

@주3회 발행하는 유료 뉴스레터 [스타트업]입니다. 무료 가입은 https://page.stibee.com/subscriptions/143087 입니다. 무료 구독자에겐 본문의 절반을, 유료 구독자에겐 전문을 공개합니다. 유료 구독은 https://page.stibee.com/subscriptions/158656 입니다. 감사합니다.

메타에는 신규 서비스 기획과 실험에 초점을 둔 조직 ‘NPE(New Product Experimentation)’가 있습니다. NPE(https://npe.fb.com/our-experiments/)는 다양한 스타트업과 비밀리에 프로젝트를 진행하거나, 제품을 내놓고는 갑자기 ‘짠’하고 공개를 하는데요.

5일 저녁 클레온의 진승혁 대표로부터 전화가 왔습니다. “그동안 메타와 재밌는 프로젝트를 하고 있었다”고요. 이제야 오피셜로 밝힐 수 있게 됐답니다. 클레온은 가상인간, 디지털 휴먼을 만드는 기술을 바탕으로 다양한 서비스를 개발하고 있습니다. VR과 AR, 메타버스를 꽉 잡겠다면서 이름까지 메타로 바꿔버린 메타 입장에선 당연히 필요한 기술일테고요.

“셀럽마다 사진 한장과 음성30초가 필요했습니다. 데이터 입력 후 제작 시간은 얼굴변환, 음성 생성, 입모양 생성 변환하는데 8분정도 걸렸습니다.”

영상을 보면 평범한 아나운서가 김연아, 한가인, 제니퍼 로페즈, 마를린 먼로로 순식간에 변신합니다. 디지털 휴먼에 도전하는 스타트업은 많습니다. 정말 사람 같은 영상을 한땀한땀 공들여 만드는 곳은 많습니다. 클레온은 “좀 더 싸고, 좀 더 빠르게, 최대한 사람 같은 디지털 휴먼을 만들자”는 목표입니다. 디지털 휴먼의 양산을 지향하는 셈인데요.

이번 메타와의 협업은 이런 디지털 휴먼 양산 기술을 바탕으로 가능했답니다. 영상은 그 기술을 적용해 진승혁 대표가 독자들을 위해 별도로 만들어준 것이고요. 진 대표에게 작년 5월 <인터뷰> 이후 무엇이 달라졌는지 물어봤습니다.

◇챗GPT 처럼 디지털 휴먼 제작도 ‘싸고, 쉬워야’

진승혁 클레온 대표. /클레온

-작년 CES에 나갔다가 메타와 접촉하게 됐다고요?

“CES에 나갔다가 미국 액셀러레이터 ‘플러그앤플레이’와 알게 됐어요. 저희 기술과 제품에 관심을 보였습니다. 플러그앤플레이 미국 본사, 한국 지사 대표님 잘 알게 됐고, 정말 우연하게 클레온의 기술이 프랑스 플러그앤플레이까지 알려졌나봐요. 메타가 NPE를 글로벌하게 모집하는데 프랑스의 플러그앤플레이에서 “한국에 재밌는 디지털 휴먼 스타트업이 있다”고 추천을 해줬어요. 그렇게 해서 NPE를 함께 하게 됐습니다.”

-NPE에 참여한 한국 유일한 스타트업입니다.

“NPE에 참여한 스타트업은 한국, 아시아 중에선 클레온이 유일하고요. 나머지는 전부 유럽과 미국의 스타트업이었습니다.”

-메타가 클레온을 협업 파트너로 택한 페인포인트가 있었다?

“지금 메타버스에 들어갈 때 각자의 아바타를 만들어요. 자신과 비슷하게 만들기도 하지만 완전히 다른 캐릭터를 꾸며서 들어가죠. 일부러 가상세계에 현실의 자신과 완전히 다른 모습의 캐릭터로 접속하기도 하지만, 반대로 현실의 자신과 비슷한 메타버스의 자신을 원하는 이용자도 있을 것이란 말이죠?

메타는 이 부분에 주목한 것 같아요. 어쨌든 메타버스 속의 디지털 휴먼은 ‘이용자가 원하는 모습’대로 생성되도록 기술적으로 지원을 해야하고, 그 방식이 빠르고 간편해야 할 것이고요. 클레온의 이번 기술은 사진 1장, 음성 30초면 실제 현실의 자신과 비슷한 디지털 휴먼이 나타나니까요. 메타버스 내에 나와 정말 닮은 캐릭터를 만들고 접속하는 미래를 그리고 있었던 것이죠. 오큘러스부터 디지털 휴먼에 대한 기술까지. 이 모든 계획이 마치 메타의 로드맵에 있는 것 같았습니다.”

-비슷한 기술을 메타가 갖고 있거나, 다른 스타트업이 개발 중일 수도 있는데요.

“사진이랑 음성을 갖고 눈코입의 모양을 바꾸는 기술을 여럿 있습니다. 그런데 얼굴 전체와 몸의 동작까지 바꾸는 기술은 클레온이 최초라고 자부합니다. 자세히 보시면 사진 만으로도 얼굴의 전체적인 형태와 턱선, 머리스타일까지 바뀝니다. 전체적인 인상도 바뀌고요.

고작 턱선이라고 하기엔 디지털 휴먼의 영역은 입모양을 자연스럽게 만들기 위해 수년이 걸렸어요. AI를 이용해서요. 이 하나하나의 포인트가 디지털 휴먼의 이질감을 덜어내는 데 큰 역할을 하거든요. 클레온은 이제 눈코입을 유사하게 바꾸는 것을 넘어 얼굴 전체를 바꾸는 데 도달한 것이죠. 이 부분을 메타에서는 흡족해 했고요.”

오늘의 무료 콘텐츠는 여기까지이고, 전문은 유료 구독자에게 공개합니다. 유료 구독자는 2021년 3월 이후에 발행한 모든 콘텐츠를 볼 수 있습니다. 아래는 전문에 나온, 부제와 질문, 사진, 그래픽입니다. 유료 가입 https://page.stibee.com/subscriptions/158656 입니다. 감사합니다.

-클레온의 디지털 휴먼은 AI를 기반으로 제작합니다. AI가 학습을 정말 많이 했다?

-메타버스에 대한 비관적인 시각이 많은데요. 메타의 메타버스 투자가 과연 언제쯤 빛을 볼 것이냐는 시선도 많고요. 그 많은 사람들이 메타버스로?

-단순 동영상 혹은 음성으로도 가능한 일 아닐까요?

-클레온의 지향점은 챗GPT?

-메타버스에 대한 비관론이 커지면서 투자 유치도 어려워 지지 않았습니까.

-메타와의 협업 결과물은 언제쯤 공개되나요.