가짜정보로 훈련시키는 'AI 그루밍' 확산

전세계 LLM 답변 오류 유발
대규모 조작으로 AI 학습 왜곡
편향 정보·가짜 판별도 어려워
선거 앞둔 韓, 여론조작 주의보
전문가 "완전 차단은 불가능
전세계 협력·검증기구 설치를"

최근 생성형 인공지능(AI)이 존재하지 않는 정보나 공신력 없는 출처를 근거로 답변을 구성하며 잘못된 정보를 증폭시키는 사례가 잇따라 발생하고 있다. 단순한 답변 오류를 넘어 AI가 참고하는 인용·학습 체계 자체가 오염되고 있다는 지적이 나오면서 더 엄격한 관리와 검증 필요성이 제기된다.

29일 미국 경제지 포천을 비롯한 외신에 따르면 최근 AI 탐지 기업 GPT제로 연구진은 지난해 세계 최고 권위의 신경정보 처리 시스템 학회인 '뉴립스(NeurIPS)'에서 채택된 논문 4841편을 분석한 결과 51편에서 총 100건의 잘못된 인용 사례를 확인했다고 밝혔다. 이들 오류는 대부분 생성형 AI 모델이 만들어낸 가짜 저자·학회와 제목, AI가 작성했다고 주장되는 텍스트로 구성된 것으로 분석됐다.

연구진은 "발표된 논문에는 무시할 수 없는 수준의 객관적 오류가 포함돼 있었다"며 "특히 이러한 문제는 해당 논문이 향후 다른 AI의 학습 자료나 연구 근거로 재활용돼 학계 전반에 거짓이 사실처럼 유통될 수 있다는 점에서 우려가 크다"고 지적했다.

이 같은 상황이 심화될 경우 여러 AI 모델이 동시에 사회 전체의 담론을 왜곡하는 이른바 'LLM(거대언어모델) 그루밍' 현상으로 이어질 수 있다. 다니엘 슈뢰더 노르웨이 과학산업기술연구재단(SINTEF) 연구원을 비롯한 전문가 22명은 최근 사이언스지에 발표한 논문에서 악성 AI가 인터넷에 허위 담론을 범람시켜 LLM의 학습 데이터 자체를 오염시키는 'LLM 그루밍' 현상이 민주주의에 대한 실질적 위협이 될 수 있다고 경고했다.

실제로 지난해 러시아가 유포한 친러 성향의 허위 정보가 여러 AI 서비스 답변에 반영된 사례가 있었는데 유사한 일이 반복되면 더 심각한 정보 왜곡으로 이어질 수 있다는 지적이다.

전 세계적으로 사용되는 AI 모델에서도 신뢰하기 어려운 출처 인용 이슈가 이어지고 있다. 영국 일간지 가디언에 따르면 구글의 'AI 개요'는 건강 관련 검색에서 의료 전문 사이트보다 유튜브를 더 많이 인용한 것으로 나타났다. 오픈AI의 챗GPT 역시 논란에서 자유롭지 않다. 테크크런치에 따르면 최근 챗GPT가 일론 머스크가 관여한 보수 성향 AI 백과사전 '그로키피디아'에서 답변을 가져오는 사례가 종종 확인되고 있다. 그로키피디아는 과거 노예제 정당화 주장이나 트랜스젠더 비하 용어 사용 등으로 여러 차례 비판을 받은 바 있다.

이 같은 문제를 막기 위해 모델의 통제와 관리를 강화하는 '가드레일' 기술 등 관련 솔루션이 잇따라 등장하고 있지만 실효성에는 회의적인 시각이 많다. 새로운 우회 기법이 계속 등장하는 데다 기술적으로도 미봉책에 가깝다는 이유에서다. 확률적 생성 구조를 기반으로 하는 LLM의 특성상 허위 정보나 편향된 인용을 완벽하게 차단하는 것은 사실상 불가능하다는 지적이다.

이재성 중앙대 AI학과 교수는 "외부에서 검증할 수 있는 독립적인 기관에 대한 강화도 필요하다"고 덧붙였다.

LLM 그루밍

특정 세력이 대량의 왜곡된 정보를 퍼뜨려 인공지능(AI)을 편향되게 학습시키는 것을 의미한다.

[안선제 기자]