“악성 AI군집, 여론조작땐 파괴적 힘… 민주주의 위협”

■ 석학들 ‘사이언스’ 경고 논문
AI·심리학 등 전문가 22명 참가
LLM 메시지 생성후 AI가 확산
다른 말투·역할 통해 관계맺기
커뮤니티 등 침투 허위정보 확산
특정인 괴롭힘·사회적 분란 조장

“방금 내가 인터넷에서 읽은 글이 사실 사람이 쓴 게 아니라면?”

거대언어모델(LLM)과 에이전트 인공지능(AI) 등 AI 기술이 결합해 만들어진 ‘악성 AI 군집’이 조직적 여론 조작에 동원될 수 있다는 경고가 나왔다. 잘 짜여진 AI 무리가 온라인 커뮤니티 등지에 침투해 사람처럼 행동하며 허위 정보를 유포, 민주주의를 위협하고 제도 전반에 대한 신뢰를 훼손할 수 있다는 것이다. 이를 막기 위한 대안으로 ‘AI 영향 관측소’ 구축이 제안됐다.

23일 다니엘 틸로 슈뢰더 노르웨이 과학산업기술연구재단(SINTEF) 연구원과 차미영 독일 막스플랑크 보안·정보보호 연구소 단장 등은 최근 저명한 국제학술지 ‘사이언스’에 이 같은 내용을 담은 정책 포럼 논문을 발표했다. 카이스트 출신인 차 단장은 한국인 최초로 막스플랑크 연구소 단장을 맡은 데이터과학 전문가다. 이번 연구에는 오드리 탕 대만 전 디지털부 장관과 닉 보스트롬 영국 옥스퍼드대 인류미래연구소 설립자 등 AI와 사회안전·심리학 등 관련 전문가 22명이 참여했다.

연구진은 LLM과 자율 에이전트, 다중 에이전트 협업 기술이 결합하면 기존의 단순 댓글봇(자동화 계정)이나 인간이 개입하는 댓글부대와는 질적으로 다른 여론 조작 시스템이 가능해진다고 분석했다. LLM이란 방대한 텍스트 데이터를 학습해 사람처럼 문장을 이해하고 생성하는 AI를 말한다. 에이전트 AI는 특정 목표를 세우고 기억하거나 실제 행동까지 스스로 실행하는 자율형 AI를 의미한다.

이 같은 악성 AI 군집은 △지속적인 온라인 정체성 유지 △공동 목표 아래 서로 다른 말투와 역할을 수행 △이용자 반응과 플랫폼 알고리즘에 실시간으로 적응 △최소한의 인간 개입으로 여러 플랫폼을 넘나들며 활동하는 점 등을 특징으로 갖고 있다.

논문에 따르면 이런 군집은 중앙 통제가 아닌 분산형 구조로 운영돼 특정 커뮤니티에 맞춤형으로 침투할 수 있다. 게시 시간·표현·콘텐츠 유형을 다양화해 탐지 시스템을 피하거나 이용자들의 반응을 학습하며 허위 정보를 보다 효과적으로 유통할 수도 있다.

연구진은 이런 악성 AI 군집이 민주주의를 심각하게 훼손시킬 수 있다고 경고했다. 특정 주장에 다수가 동의하는 것처럼 보이게 하거나 이용자들의 집단지성을 약화시키는 한편 커뮤니티마다 다른 여론을 형성해 사회적 분란을 부추길 수 있다는 것이다. 정치인·언론인·학자 등을 겨냥해 온라인 괴롭힘을 가함으로써 이들의 발언을 위축시키거나 선거관리기관·사법부 등 제도에 대한 신뢰를 훼손시킬 수 있다는 우려도 제시됐다.

연구진은 이런 형태의 조작을 완전히 차단하는 것은 현실적으로 어려운 만큼 공격자의 비용·복잡성·노출 위험을 높이는 방향으로 대응 전략을 설계해야 한다고 제안했다. 학계·비정부기구·시민사회가 참여하는 분산형 ‘AI 영향 관측소’를 구축해 공조 대응에 나서야 한다고 주장했다.

구혁 기자