[쫌아는기자들] 딥브레인AI, 돌아가신 부모님을 가상인간으로 살린 이유

@주3회 발행하는 유료 뉴스레터 [스타트업]의 콘텐츠를 일부 무료 공개합니다.

유료 가입 https://page.stibee.com/subscriptions/158656

무료가입(일부 콘텐츠만 공개) https://page.stibee.com/subscriptions/143087 입니다. 감사합니다.

4년 전쯤, MBC에서 방송했던 VR다큐멘터리 ‘너를 만났다’를 기억하시나요? 세상을 떠난 아이, 아내, 어머니를 생전의 영상과 음성을 기반으로 버츄얼휴먼을 제작, VR을 착용하고 기억 속의 그들을 만나러 가는 다큐멘터리였습니다. 3D 버츄얼휴먼의 어색함과 이질감은 남아있었지만, 그래도 더 이상 볼 수 없는 사람을 다시 만나는 경험에 참가자들은 눈물을 하염없이 쏟았습니다. 다큐멘터리는 그 자체로도 꽤 화제가 됐었는데요. 다큐를 보면서 테크 기자로 ‘이런 기술은 과연 언제쯤 보편화될 수 있을까, 다큐멘터리에서 선별한 소수의 사람 말고 모두가 이런 버츄얼휴먼을 언제쯤 만들 수 있을까? 만든다면 비용은 얼마쯤 들까’라는 생각을 했습니다.

이렇게 세상을 떠난 이를 버츄얼휴먼으로 다시 만날 수 있는 서비스를 국내 스타트업이 시작했습니다. ‘딥브레인AI’는 지난 27일 세계 최초로 나이 든 부모님의 건강한 모습을 AI휴먼으로 구현하는 ‘리메모리’ 서비스를 시작했습니다. 음성 및 영상 합성, 자연어 처리, 음성 인식 등과 같은 기술을 활용해 이 서비스를 신청한 이용자의 부모 얼굴과 목소리, 표정을 담은 가상 인간을 제작하는 것이죠. 생전 부모님과 인터뷰를 갖고 다양한 에피소드로 시나리오를 구성해 AI에 학습시키기 때문에, 부모가 세상을 떠난 뒤에도 휴먼AI와 과거 추억들에 대해서 함께 이야기를 나눌 수도 있다고 합니다. 그래서 해당 서비스를 시작한 딥브레인의 장세영 대표를 인터뷰했습니다.

“리메모리 서비스는 서비스 이름처럼 ‘다시 기억하다’, ‘다시 만나다’라는 의미를 담고 있습니다. 생전에 3시간 정도 촬영했다가, 고인이 되시면 목소리도 똑같게, 얼굴 모습도 같이 만들고, 그분이 생전에 했던 말이나 기억들도 수집해서, 마치 돌아가신 분이 말하는 것처럼 재현하는 서비스입니다. 그리고 사후에 저희 쇼룸에 오셔서 만나볼 수 있는 서비스로 기획했어요.”

“버츄얼휴먼을 만드는 AI기술이 발전하고, 제작비가 양산이 가능할 정도로 저렴해졌기 때문에 서비스할 수 있었습니다. 세상을 떠났거나, 떠날 분들을 버츄얼휴먼으로 만드는 일. 아이디어 자체는 3~4년 전부터 기획하고 있었어요. 그사이 기술이 집약적으로 발전했기 때문에 일반 소비자들도 접근할 수 있는 수준의 제작비가 나오게 된 것이죠. 예컨대 과거에는 사람의 목소리를 모사하기 위해서는 5000문장~1만 문장을 실제 사람이 읽고, 이 목소리 데이터를 AI가 학습해야 했어요. 엄청난 시간이 걸렸죠. 하지만 지금은 300~400문장이면 AI가 사람의 목소리를 모사합니다. 빠르게 읽으면 1시간 안에 모든 문장을 사람이 읽을 수 있고, 이걸 입력하면 AI가 목소리를 따라 할 수 있게 됩니다.”

“기술적으로는 크게 세 가지로 나뉩니다. 2D 형태로 보이는 고인의 모습. 그러니까 시각. 고인의 목소리와 비슷한 AI의 목소리, 청각. 마지막으로 대화의 내용이죠. 구성을 살펴본다면 AI 챗봇이 뒷단에 있고, 스스로 문장을 생성하거나 가족들의 질문에 답하는 형태로 텍스트를 만들어내요. 그 텍스트를 TTS를 이용해 고인의 생전 목소리와 비슷한 목소리로 바꾸고요. 동시에 고인의 생전 모습을 보여주면서 립싱크. 그러니까 나오는 음성과 대화에 맞춰서 자연스럽게 입 모양이 편하고 몸이 움직이도록 만드는 것이죠.”

“3시간 정도 촬영이 필요합니다. 리메모리의 AI는 다른 대화형 AI와 달리 오로지 단 1명의 개인을 위해서 만들어지는 AI입니다. 그래서 학습에 필요한 데이터가 필요하죠. 얼굴과 목소리를 학습시켜야 하고, 저희와 인터뷰도 해야합니다. 먼저 촬영하면서 얼굴과 몸을 찍고, 말할 때 얼굴 근육의 변화를 비전이 잡아내고, 문장도 녹음하고요. 챗봇을 위한 대화도 학습합니다. 고인의 과거 기억, 가족들과의 추억에 대해 정해진 흐름의 인터뷰를 하고 해당 인터뷰의 핵심 키워드를 기반으로 AI가 학습합니다. 단, 한계는 있습니다. 가족들과 AI가 대화할 때 미리 학습되지 않은 기억이나 생각에 대해서는 답변이 어렵습니다. 미리 학습해놓은 범주 안에서 AI는 실제 고인처럼 대답하거나 기억을 해낼 수 있다는 한계는 있어요.”

[전문은 유료 가입후 보세요. 유료 가입하시면 2021년 3월 이후 발행한 모든 유료 콘텐츠를 볼 수 있습니다. 감사합니다. 아래는 비공개 콘텐츠에 포함된, 그래픽과 사진, 그리고 질문입니다.]

장세영 대표. /딥브레인 AI