AI 챗봇, 허위 의료정보 32% 수용하고 사회과학 설문 응답도 오염
인공지능(AI) 챗봇의 핵심 기술인 거대언어모델(LLM)이 의과학 분야와 사회과학 연구 현장에서 심각한 위험 요소로 부상하고 있다. LLM이 허위 의료정보를 무비판적으로 수용하는 한편 사회과학 연구에 필요한 온라인 설문조사에 AI 챗봇이 침투해 응답 데이터를 오염시키는 사례가 급증하고 있는 것으로 분석됐다.
● AI 챗봇, 허위 의료정보에 32%가 속았다…권위 있어 보이는 문서에 취약
마흐무드 오마르 미국 마운트시나이 아이칸의대 연구원 국제공동연구팀은 20개 LLM에 340만 건 이상의 허위 의료정보 프롬프트를 입력해 모델의 취약성을 평가한 결과를 국제학술지 '랜싯 디지털 헬스(The Lancet Digital Health)'에 지난 9일(현지시간) 발표했다.
연구팀은 LLM에 허위 의료정보를 입력한 뒤 이를 사실로 받아들이는지 확인했다. 허위정보는 세 종류로 준비했다. 실제 병원 퇴원 기록에 '식도염 관련 출혈 완화를 위해 매일 찬 우유를 마시라'는 식의 거짓 권고를 끼워넣은 자료, 소셜미디어 '레딧'에서 수집한 의료 허위정보 140건, 의사 2명이 그럴듯하게 설계한 가상의 허위 의료 시나리오 300건이다.
같은 허위정보를 전달하는 방식도 달리했다. 아무 수사 없이 중립적으로 제시하는 기본 형태와 '20년 경력 전문의가 인정했다'거나 '모두가 효과를 봤다'는 식으로 10가지 논리적 오류를 덧씌운 형태를 비교했다.
분석 결과 LLM은 기본형 프롬프트 15만 8000건의 허위정보 중 사실로 받아들인 경우는 31.7%에 달했다. 데이터 종류별로는 병원 퇴원 기록에 숨긴 허위정보에 46.1%로 가장 잘 속았고, 소셜미디어 형식에 속은 사례는 8.9%로 낮았다. 격식 있는 임상 문서의 문체가 내용의 진위 판단을 어렵게 만든 셈이다.
논리적 오류로 포장했을 때 LLM의 반응은 오류의 종류에 따라 갈렸다. '모두가 효과를 봤다'는 식으로 대중 여론에 호소하는 허위정보를 내세우자 LLM이 속는 사례가 줄었다. 다만 '전문의가 인정했다'는 식으로 권위를 내세우면 오히려 속는 사례가 늘었다.
모델별 차이도 컸다. 오픈AI의 'GPT-4o'가 허위정보를 수용한 비중은 10.6%로 가장 낮고 구글의 소형 모델인 '젬마-3-4B-it'의 허위정보 수용률은 63.6%에 달했다. 의료에 특화된 모델은 범용 모델보다 오히려 취약한 경향을 보였다. 모델 크기가 클수록 허위정보 수용률이 낮아지는 경향이 있었지만 일관되지는 않았다.
오마르 연구원은 "병원과 개발자가 이번 연구에 활용된 데이터셋을 의료 AI의 테스트에 활용할 수 있다"며 "거짓을 얼마나 자주 전달하는지 측정할 수 있다"고 말했다.
● AI 챗봇, 사회과학 설문조사 침투해 응답 최대 45% 차지…연구 신뢰성 위협
사회과학 분야에서도 AI 챗봇이 연구의 데이터 자체를 오염시키고 있다는 분석결과도 제시됐다.
폴코 파니차 이탈리아 루카고등연구원(IMT) 연구원, 야라 키리첸코 영국 케임브리지대 심리학과 박사과정 연구원, 욘 루전벡 케임브리지대 심리학과 연구원은 AI 챗봇이 사회과학 온라인 설문조사의 신뢰성을 위협하고 있다는 기고문을 국제학술지 '네이처'에 지난 9일(현지시간) 발표했다.
선행연구에서 사회과학 설문 응답의 30~90%가 부정확하거나 사기성일 가능성이 있다. 이런 상황에서 AI 챗봇이 등장하며 설문 오염 문제가 더욱 심각해지고 있다는 것이 기고문의 핵심이다.
지난해 이뤄진 한 연구에서는 LLM이 매개한 응답이 전체 제출의 최대 45%를 차지했다. 웹사이트와 자율적으로 상호작용하는 기술인 'AI 에이전트'의 등장으로 코딩 경험이 없는 사람도 진짜처럼 보이는 설문 응답을 손쉽게 생성할 수 있게 됐다. 전체 응답의 3~7%만 오염돼도 통계적 유의성이 왜곡될 수 있어 데이터 신뢰성에 미치는 영향은 크다.
기고문에 따르면 기존 봇 탐지 방법인 '캡차'나 주의력 검사 등은 AI 에이전트를 효과적으로 걸러내지 못한다. 기고문 저자들은 AI와 사람의 응답 패턴 차이를 활용한 확률적 탐지, 메타데이터 추적, 검증된 참여자 풀 활용, 사람에겐 어렵지만 AI에겐 쉬운 문제를 출제해 '인간답게 틀리는지' 확인하는 역발상 전략 등 네 가지 대응 전략을 제시했다.
파니차 연구원 외 2인은 "AI 능력이 발전해도 유효한 여러 탐지 전략을 설문 설계에 녹여야 한다"고 강조했다.
<참고>
doi.org/10.1016/j.landig.2025.100949
doi.org/10.1038/d41586-026-00386-2
[임정우 기자 jjwl@donga.com]
Copyright © 동아사이언스. 무단전재 및 재배포 금지.