“정부 비판·사회 교란시키는 세력 막자”… 메타·오픈AI·틱톡, AI 기반 ‘가짜 계정’ 단속 나서

메타, 페이스북·인스타그램 가짜 계정 500개 삭제
오픈AI “중국, 후쿠시마 오염수 방출 관련 기사로 일본 비난”

텍스트 난독화 기술을 활용한 광고 예./메타 적대적 위협보고서 캡처

메타·오픈AI·틱톡 등 테크 기업들이 인공지능(AI) 기술을 활용해 여론을 조작하는 세력들을 단속하고 나섰다.

4일 메타는 분기별로 발간하는 ‘적대적 위협 보고서(Meta’s threat disruptions)’를 통해 중국, 이란, 러시아, 방글라데시, 크로아티아, 이스라엘 등의 가짜 네트워크 기반 인스타그램, 페이스북 계정 500개를 삭제했다고 밝혔다. 해당 계정은 여론에 영향을 미치고 시사 사건에 대한 정치적 개입을 위해 만들어진 것으로 파악됐다고 메타는 전했다.

특히 이스라엘 수도 텔아비브에 있는 디지털 마케팅회사 스토익(STOIC)은 가짜 계정을 여럿 만들어 이스라엘 포로 석방을 촉구하는 내용, 이스라엘 군의 활동을 칭찬하는 내용 등의 콘텐츠를 생산했다. 스토익은 홈페이지에 “맞춤형 콘텐츠를 생산해 소셜미디어(SNS)에 자동화된 방식으로, 조직적으로 배포하는 AI 기반 시스템을 운영한다”고 밝혔다.

메타는 “AI로 생성한 비디오 뉴스를 비롯해 생성형 AI를 기반으로 사이버 공격자들의 새롭고 정교한 수법을 감지하지 못했다”면서 “텍스트, 사진 및 이미지 생성, 생성형 AI 비디오 뉴스 등을 관찰했는데 공격자들은 여러가지 기술을 실험하고 있다”고 밝혔다.

메타는 “대부분의 공격자들이 가짜 계정을 위해 생성적 적대 신경망(GAN)을 사용하고 있다”고 전했다. GAN은 차세대 딥러닝 알고리즘으로 주목받는 기술이다. 두 신경망 모델이 경쟁을 통해 학습하고 결과물을 만들어내는 방식이다. 생성자는 실제 데이터를 학습하고 이를 바탕으로 실제에 가까운 거짓 데이터를 생성한다.

아울러 공격자들은 탐지를 회피하기 위해 텍스트 난독화를 주로 사용한 것으로 파악됐다. 예컨대 ‘Ukraine’ 대신 ‘U. kr. ai. n.e.’를 사용하는 식이다. 오타가 난 도메인을 뉴스 매체로 가장하는 수법을 쓰는 것이다. 허위 사이트에 가짜 기사를 게시한 다음 인스타그램, 틱톡, 유튜브 같은 SNS 계정을 통해 전파한다. 하나의 SNS 계정은 하나의 기사를 공유하는 데 사용되며, 그 이후 계정을 폭파하기도 한다고 보고서는 전했다.

오픈AI도 보고서를 통해 “인터넷상의 ‘기만적인 활동’에 우리의 AI 모델을 이용하려는 5건의 은밀한 시도를 확인했다”고 밝혔다. 해당 계정은 차단된 것으로 전해졌다. 오픈AI는 “위협 행위자들이 지난 3개월 동안 우리의 AI 모델을 사용해 짧은 댓글과 다양한 언어로 된 기사를 만들고, 가짜 SNS 계정을 만들었다”고 설명했다.

러시아 2곳과 중국, 이란, 이스라엘에서 이 같은 시도가 포착됐으며, 우크라이나 및 가자 전쟁, 인도 선거, 유럽과 미국의 정치 등의 문제에 초점을 맞춘 것이 대부분이었다. 중국은 지난해 하반기 후쿠시마 오염수 방출과 관련한 기사를 한국어를 비롯해 영어와 일본어, 중국어, 러시아어로 번역해 일본 비난에 이용했다고 오픈AI는 전했다.

틱톡은 올해 초부터 방글라데시, 중국, 에콰도르, 독일, 과테말라, 인도네시아, 이란, 이라크, 세르비아, 우크라이나, 베네수엘라에 기반한 여러 네트워크를 차단했다고 밝혔다. 브루킹스 연구소는 보고서를 통해 “틱톡은 미국에서 금지 법안이 통과된 후 러시아 계열 계정이 점점 더 선호하는 플랫폼이 됐다”고 전했다.

사이버 위협 인텔리전스(CTI) 기업 레코디드퓨처는 “생성형 AI로 만들어진 텍스트, 이미지, 동영상 콘텐츠 등은 가짜 정보 캠페인을 더욱 정교하게 만들고 있다”며 “최신 디지털 도구를 활용해 효과적으로 사회 분열을 일으키고 시위 및 반정부 메시지 확산을 증폭시키고 있다. 지속적인 모니터링과 상황 공유가 중요하다”고 설명했다.

- Copyright ⓒ 조선비즈 & Chosun.com -