AI로 원하는 아바타 만들어, 숨진 애인과 대화도 나눠

━
이준기의 빅데이터

빅데이터

지난해 11월 출시됐던 챗GPT는 1950년대 중반 시작된 약 70년간의 인공지능 역사에서 처음으로 ‘생성형 인공지능(AI)’이란 것을 우리에게 던져 줬다. 기존의 AI는 ‘판별형 AI’에 중점을 두고 있었다. 판별형 AI란 인간이 AI를 이용해 ‘판별’ 즉, 정보를 바탕으로 어느 것이 맞는지를 판단한다는 것을 의미한다. 예를 들어 환자의 정보를 바탕으로 암인지 아닌지를 판별하거나 회계정보를 바탕으로 부도가 발생할 것인지를 판별하는 것 등이 예가 될 수 있다. 바둑에서 알파고가 다음 수를 결정하는 것도 바둑을 이기기 위해 필요한 위치를 판별하는 작업으로 이해할 수 있다.

푸틴, 핵 사용 명령 등 가짜 동영상 판쳐

생성형 AI는 기존의 데이터와 학습을 바탕으로 새로운 문장, 그림, 음악을 만들어 낸다는 점에서 기존의 판별형 AI와는 구별된다. 우리가 챗GPT 등의 대규모 언어모델(LLM)을 1년여 사용하며 이 새로운 인공지능에 대한 이해가 높아짐에 따라, 생성형 AI이 미래에 어떤 영향을 갖고 올 것인가에 대한 기대와 우려가 교차하고 있다.

판별형 AI에 대한 우리의 평가와 목표는 맞음과 틀림에 중점을 두고 있다. 판별이 맞으면 정확도가 올라가는 것임으로 정확도를 올림으로 우리는 AI의 효능성을 높일 수 있다. 따라서 기존의 AI 경쟁에서는 정확도를 올릴 수 있는 기술과 데이터를 소유하고 있는 기업에 점점 유리해지는 게임이다. 하지만 생성형 AI에서는 새로운 것을 생성함으로써, 맞고 틀림보다는 성향이 더 중요한 문제가 된다. 즉, 맞는 답이 없으므로 대량의 다른 성향의 AI를 구현할 수 있고, 이것을 나름의 시나리오에 더하여 특정 성향으로 만듦으로 많은 새로운 기회가 창출된다.

미국의 여성 인플루언서인 카린 마저리가 자신의 목소리와 버릇, 성격 등을 복제해 만든 AI. [사진 트위터]

먼저 기회의 부정적인 측면을 살펴보자. 최근 동영상 사이트에는 아는 사람 또는 유명 연예인의 사진, 동영상을 이용한 성인 콘텐트가 쏟아져 나오고 있다. 지난 5월 미국의 한 유명 인플루언서인 카린은 자신의 모습과 말투를 사용한 생성형 AI를 사용하여 가상의 여자친구 기능을 하는 챗봇을 만들어서 1분 대화에 1달러를 받는 서비스를 출시했다. 기사에 따르면 이 서비스는 5일 만에 1억원의 수익을 올렸다.

5개월이 지난 지금 가상 여자친구 서비스 사이트는 수십 개로 늘어났으며, 처음 카린으로 재미를 본 사이트에 가면 이제는 여자친구를 내 취향으로 검색하여 골라야 할 정도로 많은 인물이 등장하고 있다. 앞으로 모바일 피싱에서는 실제 손자의 목소리, 말투, 행동으로 만들어진 생성된 AI 동영상을 이용한 피싱이 유행할 것이다. 요즘 생성형 AI 연구를 보면 3~5초 정도의 목소리 녹음만으로 같은 목소리 톤의 짧은 문장도 말할 수 있는 AI를 만들 수 있다.

최근 각국 정부는 AI를 통한 가짜 뉴스에 대해 심각하게 바라보기 시작했다. 지난 8월 영국의 이코노미스트는 특집기사에서 AI가 갖고 올 민주주의에 대한 위협을 당면한 실질적 위기 상황이라고 언급하기도 했다. 미국에서 유명 앵커가 뉴스 진행을 하며 트럼프 전 대통령에 대한 거짓 정보를 퍼뜨린다든지, 푸틴 대통령이 최근의 전쟁 상황에 대하여 계엄령 또는 핵무기 사용의 명령에 대해 긴급기자회견을 하는 모습의 가짜 동영상은 이제 어렵지 않게 인터넷에서 찾을 수 있다. 이러한 종류의 뉴스와 정보가 생성형 AI에 의하여 실제 사람의 말투와 모습으로 나타날 때 우리는 무엇을 믿고 믿지 말아야 할지 혼란을 겪을 수밖에 없지만, 당분간 자극적인 클릭을 유도하는 이런 동영상은 범람할 수밖에 없다.

이제 생성형 AI를 통해 만들 수 있는 조금 더 긍정적인 기회를 생각해 보자. 얼마 전 디즈니에서는 ‘피터 팬’에 나오는 팅커벨 요정의 AI를 선보였다. 홀로그램을 사용한 이 장난감은 마치 동화 속의 팅커벨이 진짜 나타난 것처럼 사람들과 대화를 나누며 그녀의 말투와 행동을 표현했다. 이제 우리는 자신이 원하는 모습을 투영한 아바타를 만들 수 있다. 이것은 향후 게임, 장난감 제작, 영상·콘텐트 제작, 상담 등의 영역에서 게임 체인저가 될 것이다. 애인 모습과 행동을 훈련한 아바타, 자신이 좋아하는 연예인, 동화 속 주인공, 또는 존경하는 위인의 아바타를 사용해 단순한 말동무에서부터 정신적 조언까지도 들을 수도 있다.

미국의 스타트업 캐릭터 닷 AI는 자신이 원하는 캐릭터를 자신이 원하는 인물과 성격을 선택해 만든 후, 인터넷상에서 다른 사람과의 대화 등에서 사용할 수 있는 서비스를 제공하고 있다. 며칠 전 메타는 유명인 28명과 제휴해 그들의 캐릭터를 향후 페이스북 메신저, 인스타그램 등에 장착해 누구나 그들과 대화하는 것과 같이 느낄 수 있게 만드는 서비스를 개시할 계획을 발표했다. 몇 초의 자료만 있으면 같은 말투를 만들 수 있지만 혹시 그 사람에 대한 연설문이나 평소 대화 등의 정보가 조금 더 있으면 그 사람의 성격이나 나름의 생각들도 구현하는 AI를 구현할 수 있다.

델파이라는 기업은 평소 글이나 말한 것 등을 보내 주면 AI 클론을 만들어 주는 서비스를 시작했다. 이제 나의 클론이 만들어지면 나 대신 인터넷에서 활동하며 전화를 대신 받을 수도 있다. 고인이 된 사랑하는 사람을 곁에 두고 얘기를 나눌 수 있으며 무엇보다도 누구나 클론을 만들어서 영원히 존재하게 될 수도 있다.

최근 연구되는 AI의 방향은 메타버스의 개념에 생성형 AI를 통한 에이전트를 다양하게 생성해 각자 교류하며 활동하게 만드는 것이다. 이런 면에서 지난달 스탠퍼드대학과 구글의 연구진이 공동으로 발표한 생성형 에이전트를 통한 시뮬레이션에 관한 논문은 매우 흥미롭다. 그들은 ‘더 심즈’ 시뮬레이션 게임에 25명의 가상의 캐릭터를 생성형 AI 통해 만들었다. 예를 들어 에이전트 중 한 명인 존 리는 A약국의 주인으로 남을 도와주는 것을 좋아하는 성격이다. 그는 인근 대학교수인 에이 린과 음악을 공부하는 아들 에디와 살고 있으며 가족을 아주 사랑한다.

생성형 AI 시장, 2032년 1700조원 전망

더심즈4의 포스터. [사진 위키피디아]

이런 식으로 챗GPT의 프롬프트를 통해 25명의 가상 캐릭터의 성격, 관계 등이 생성된 후 25명의 에이전트는 자유스럽게 더 심즈 게임의 규칙에 따라 다른 사람을 만나고 대화한다. 이때 대화는 생성된 AI에 따라 만들어지며 각 에이전트는 대화의 내용을 기억하고 그 기억을 바탕으로 새로운 계획이나 행동을 할 수 있게 된다. 게임의 플레이어는 에이전트의 마음에 내면의 소리로 어떤 행동이나 결심을 하게 만들며(예를 들어, 시의원 선거에 출마하려고 마음먹다) 그 이후는 에이전트의 관계와 성격에 의하여 시뮬레이션 방식으로 게임이 진행된다.

초기 시도이지만 우리는 이제 다양한 환경에서 다른 성향을 가진 에이전트들을 우리 마음대로 생성하여 그들이 어떻게 대화하고, 교류하고, 정보를 공유하며 퍼뜨려가는가를 연구할 수 있다. 더 나아가서는 각자의 아바타가 활동하며 대신 광고를 해 주고, 물건을 흥정하며 정보를 수집할 수 있는 실지 생활과 근접한 메타버스가 만들어질 것이다.

블룸버그 인텔리전트 리포트에 따르면 현재 생성형 AI 시장은 약 50조원으로 예상하고 있으며 매년 40% 넘는 성장을 해 2032년까지 약 1700조원에 이를 것으로 예상된다. 우리에게는 아직 한 번도 경험하지 못했던 에이전트 창조의 시대가 열렸다고 볼 수 있다. 이렇듯 생성형 AI의 활용에 대한 시도는 이제 막 시작된 단계이며, 커다란 가능성과 함께 우리 사회가 어떻게 받아들여야 하며 어떤 규제가 필요한지에 대한 논의도 진지하게 진행돼야 한다.

이준기 연세대 정보대학원 교수. 서울대에서 계산통계학과를 졸업 후, 카네기멜론대 사회심리학 석사, 남가주대 경영학 박사를 받았다. 국가 공공데이터 전략위원회에서 국무총리와 함께 민간 공동위원장을 맡고 있으며 『AI 로 경영하라』 『오픈콜라보레이션』 『웹2.0과 비즈니스 전략』 등을 펴냈다.