은행, 부모까지 속았다?…AI 아바타, 범죄악용 주의보 무슨일?

WSJ 칼럼니스트 실험…음성 생체인식시스템도 뚫려

바야흐로 챗GPT가 생활을 바꾸고 있다. 이런 챗봇 ‘챗GPT’를 비롯한 인공지능(AI) 기술로 일상생활이 편리해졌지만 그 이면에는 어떤 위험성이 있을까.

미국 일간 월스트리트저널(WSJ)의 IT 칼럼니스트 조안나 스턴은 28일(현지시간) ‘AI로 나 자신을 복제했다. 그녀가 은행과 내 가족을 속였다’는 제목의 기사에서 AI로 만든 아바타가 초래할 부작용을 경고했다.

스턴은 지난 몇개월간 영국 런던의 AI 스타트업 신세시아(Synthesia)의 프로그램을 활용해 ‘아바타’를 만드는 실험을 했다고 밝혔다.

그는 이렇게 생성된 ‘AI 아바타’가 나오는 동영상을 보고 “거울로 나 자신을 보는 것 같았다”고 말했다.

지난 6일 서울 강남구 코엑스에서 열린 ‘대한민국 맥주박람회 및 와인&로컬 드링크 페어’ 한 부스에서 서빙용 로봇을 시연하고 있다. 기사와 관련 없음. 연합뉴스

스턴은 여기서 한발 더 나아가 AI 아바타에 챗GPT로 생성한 대사를 입력해 자신 대신 동영상 공유 사이트나 화상회의에 출연하도록 해봤다.

그 결과 화상회의에선 지나치게 곧은 자세와 위트 부족으로 진짜 사람이 아니란 사실이 곧장 들통났지만, 상호작용이 상대적으로 적은 동영상 공유 사이트에선 비교적 쉽게 들키지 않았다고 그는 밝혔다.

스턴은 이와 동시에 음성 AI 스타트업 일레븐랩스(ElevenLabs)의 프로그램으로 ‘음성 아바타’를 만든 뒤 가족을 대상으로 자신의 실제 목소리와 구분할 수 있는지 시험하기도 했다.

매주 스턴과 여러 차례 통화한다는 여동생은 AI로 생성된 목소리가 호흡을 위해 대화 중 멈추지 않는 점을 제외하면 진짜와 매우 흡사하다는 반응을 보였다.

스턴의 아버지는 사회보장번호를 묻는 AI 음성에서 녹음 같은 느낌을 받고 ‘뭔가 벌어졌다’는 정도만 알아챘을 뿐 스턴 본인의 목소리가 아니라고 눈치채진 못한 것으로 전해졌다.

스턴은 “부모와 여동생조차 차이를 찾아내지 못한다면 다른 사람들에게 그것을 기대할 수 있겠는가”라면서 “잠재적 악용 가능성이 있는 게 현실”이라고 우려했다.

실제, 일레븐랩스 프로그램으로 생성한 AI 음성을 이용해 미 대형은행의 신용카드 관련 고객서비스를 이용해 본 결과 개인 목소리를 구분하는 생체인식 시스템을 손쉽게 통과할 수 있었다고 스턴은 밝혔다.

자동응답시스템이 AI 음성을 스턴 본인의 목소리로 인식해 직원에게 연결해줬다는 것이다.

은행 측 대변인은 신속한 업무를 위해 음성 생체인식 기술을 쓰고 있으며 고객이 금융 거래 등을 마무리하려면 추가 정보 제공이 필요하다고 강조했지만, 그런 정보가 유출된 상황이라면 보안이 뚫릴 위험성을 배제하기 힘들어 보인다.

스턴은 신세시아 프로그램과 일레븐랩스 프로그램 모두 AI 아바타가 살해 위협을 비롯한 비윤리적이거나 문제가 될 수 있는 내용을 제한하지 않는다고도 지적했다.

그러면서, 실제 사람과 구분되지 않는 AI 아바타가 우후죽순 생겨나 온라인 세상을 더욱 혼탁하게 만들 위험성이 있다고 경고했다.

스턴은 기사의 말미에서 AI 기술은 계속 발전할 것이라며 “나 자신을 진정한 인간으로 만드는데 더 많은 시간을 가지도록 AI 도구들을 활용할 계획”이라고 말했다.