AI 논문·동료심사 보고서 급증…신뢰할 측정 도구는 부족
인공지능(AI)이 작성한 논문과 동료심사 보고서가 학술계 전반에서 빠르게 늘고 있지만 실제 규모를 신뢰성 있게 파악할 도구와 기준은 여전히 부족하다. 과학계는 저품질·날조 연구가 품질 관리망을 뚫고 학문적 규범을 오염시킬 수 있다고 우려한다.
5일(현지시간) 국제학술지 네이처는 AI가 과학 문헌에 미치는 영향을 측정한 연구 여러 편을 소개하며 연구마다 수치가 제각각인 데다 상황 변화 속도가 빨라 전체 규모 파악이 쉽지 않다고 전했다.
미국의 콘텐츠 분석 기업 그래파이트가 네이처에 제공한 자료에 따르면 3월 말 새로 게시된 웹페이지 5만5000개를 분석한 결과 AI가 작성한 글이 사람이 쓴 글보다 많았다. 분석 대상은 장르나 분야를 가리지 않고 새로 올라온 웹페이지 전반이다.
AI는 연구 속도를 높이는 데 유용하게 쓰일 수 있다. 반면 가짜 논문이나 저품질 논문을 양산하는 데 악용될 위험도 있다. 연구자들은 AI 탐지 도구로 이 문제의 규모를 측정하고 있지만 일부 도구는 AI가 부분 편집한 텍스트와 전면 생성한 텍스트를 구별하지 못한다. 'AI 생성'의 기준도 시스템마다 달라 인간 작성 텍스트를 AI 생성으로 오판하는 사례도 있다.
클로딘 가르텐베르그 미국 펜실베이니아대 교수가 이끄는 팀은 2021년 1월부터 2026년 2월까지 국제학술지 '오거니제이션 사이언스'에 투고된 논문 초록 약 7000건과 동료심사 보고서 약 8000건을 AI 탐지 전문 업체 팡그램 랩스가 개발한 도구로 분석했다.
2022년 11월 챗GPT 출시 이후 투고 건수는 42% 증가했다. 올해 2월 기준 AI 생성 텍스트 비율이 70%를 넘는 투고 논문은 2024년 초 대비 2배 이상 늘었다. 동료심사 보고서도 30% 이상에서 AI 생성 텍스트가 확인됐다. 연구 결과는 지난달 27일 '오거니제이션 사이언스'에 온라인 선공개됐다.
리처드 셰 싱가포르 난양공과대 줄기세포생물학 연구원은 같은 팡그램 랩스 도구로 사이언스·네이처·셀 등에 지난해 게재된 생의학 논문 약 5000편을 검사했다. 6편이 완전한 AI 작성으로 분류됐고 8편 중 1편에는 AI 생성 텍스트가 일부 포함된 것으로 나타났다고 밝혔다. 연구 결과는 지난 1월 사전 논문 공개 사이트인 '바이오아카이브(bioRxiv)'에 공개됐다.
야나이 엘라자르 이스라엘 바르일란대 교수와 마리아 안토니악 미국 콜로라도볼더대 교수는 1월 논문 사전 공개 사이트 '아카이브(arXiv)'에 공개한 연구에서 두 가지 AI 탐지 방법으로 2020~2025년 원고 12만4000여 건을 분석했다.
컴퓨터과학 분야 리뷰 논문 중 AI 생성 텍스트가 포함된 비율은 2023년 7%에서 2025년 43%로 올랐다. 비(非)리뷰 원고도 같은 기간 3%에서 23%로 늘었다. 다만 전면 AI 작성과 부분 AI 생성은 구별하지 않았으며 논문 품질도 평가하지 않았다.
안토니악 교수는 "기준값이 없어 신뢰성 있는 정량화 자체가 어렵고 AI 활용 방식도 다양해 복잡성이 크다"고 말했다. 셰 연구원은 "AI 모델이 발전할수록 텍스트를 사람 글처럼 위장하는 수단도 늘어나 탐지기가 더 정교해져야 한다"고 강조했다.
대안으로 워터마킹 기술도 거론된다. 국제머신러닝학회(ICML)는 최근 워터마킹 기술로 동료심사 보고서에서 AI 생성 텍스트를 탐지해 논문 497편을 반려했다. 모하마드 호세이니 노스웨스턴대 파인버그 의과대학 연구원은 "AI 생성과 AI 보강 텍스트를 더 정확히 구별할 수 있을 때까지는 관련 연구 수치를 회의적으로 봐야 한다"고 말했다.
가장 큰 우려는 대형언어모델(LLM)이 만든 저품질·날조 연구가 현행 품질 관리 시스템의 탐지 역량을 넘어서는 상황이다. 안토니악 교수는 "우리가 전혀 대비하지 못한 방식으로 상황이 빠르게 바뀌고 있다"고 말했다. 셰 연구원은 "AI를 악용하는 측과 이를 탐지·제어하려는 측이 서로 기술을 앞세우며 경쟁하고 있다"고 전했다.
<참고자료>
doi.org/10.1287/orsc.2026.ed.v37.n3
doi.org/10.64898/2026.01.01.697311
doi.org/10.48550/arXiv.2601.17036
[조가현 기자 gahyun@donga.com]
Copyright © 동아사이언스. 무단전재 및 재배포 금지.