1년에 논문 113편 작성한 천재? AI로 만든 저질 논문이었다

[AI 미디어 파도] AI로 작성된 논문, AI 관련 학회에 대거 제출
국제 컨퍼런스 제출 논문 21% AI로 작성… "저품질 논문 쏟아져"

[미디어오늘 윤수현 기자]

▲생성형AI 제미나이로 만든 AI 슬롭 관련 이미지.

AI가 만들어낸 저품질 콘텐츠 'AI 슬롭'(AI Slop)이 학계에까지 영향을 끼치고 있다. AI로 만들어진 저품질 논문이 학술지에 쏟아지고 있는 것이다. 특히 AI 관련 학술지에서 이 같은 문제가 발생하고 있다.

가디언의 지난해 12월 보도에 따르면 고등학생을 위한 AI 연구·멘토링 회사 알고버스를 운영 중인 케빈 주(Kevin Zhu)는 지난해 학술논문 113편을 저술했다. 사흘마다 논문을 한 편씩 작성한 셈이다. 이 중 89편이 인공지능·머신러닝 학회에서 발표될 예정이었다. 가디언은 “케빈 주는 지난 2년 동안 인공지능을 활용해 사하라 사막 이남 아프리카 유목민을 찾아내고, 피부 병변을 평가했으며, 인도네시아 방언을 번역했다”며 “AI 도구로 인한 저품질 연구논문이 쏟아져 나오는 상황에 직면했다”고 밝혔다. 하니 파리드(Hany Farid) 버클리대 교수는 가디언과 인터뷰에서 “(케빈 주의 논문은) 재앙이다. 논문 처음부터 끝까지, 그저 '바이브 코딩'(AI로 소프트웨어를 만드는 관행)에 불과하다”고 지적했다.

학계는 이 같은 'AI 슬롭 논문' 문제에 직면했다. 파이낸셜타임스의 지난 1일 보도에 따르면 지난해 머신러닝 컨퍼런스 국제표현학습학회(ICLR)에 제출된 논문 21%가 AI로 작성됐으며, 전체 논문의 9%는 내용 절반 이상이 AI에 의해 작성됐다. 또 AI 탐지 스타트업 'GPT제로'에 따르면 지난해 AI 학술대회인 신경정보처리시스템학회(NeurIPS)에 제출된 논문 50편에서 100건 이상의 AI 관련 오류가 발견됐다.

파이낸셜타임스는 “AI 연구자들은 'AI 슬롭'이 연구 신뢰를 훼손하는 것을 어떻게 막아야 할지 고심하고 있다”며 “최근 수개월간 AI 관련 학회에서 저품질 논문이 쏟아져 나왔다. 전문가들은 AI가 생성한 저품질 자료가 급증하고, 허위주장과 조작된 내용이 유포되면서 연구 신뢰성과 진실성이 훼손될 수 있다고 경고하고 있다”고 밝혔다.

논문 제출도 급증하고 있다. 지난해 신경정보처리시스템학회에 제출된 논문은 2만1575건인데, 이는 2020년과 비교해 127% 증가한 것이다. 특히 한 저자가 100편이 넘는 논문을 발표한 경우도 있다. 파이낸셜타임스는 “전문가들은 논문 제출 수가 늘어난 것이 연구자 활동 증가 때문인지, AI 때문인지 확언하기 어렵다고 밝혔다”면서도 “논문을 분석하는 방법이 부족하기 때문에 AI가 논문을 생성했는지 탐지하기 어려운 상황”이라고 했다. 파이낸셜타임스는 “전문가들은 AI 연구계에 가능한 한 많은 논문을 발표하려는 문화가 만연해 있으며, 이에 따라 일부 연구자가 편법을 사용하게 됐다고 지적한다”고 설명했다.

가디언은 AI 연구 분야에 동료평가(동료 학자들이 논문을 평가하는 제도)가 없다는 점을 문제 원인으로 봤다. 가디언은 “AI 연구 심사 기준은 다른 과학 분야와 다르다. 엄격한 동료평가 과정을 거치는 화학·생물학 연구와 달리, AI 연구는 이 같은 과정을 거치지 않는 경우가 많다”고 했다. 논문 검증 역시 엄격하게 이뤄지지 않는다. 제프리 월링(Jeffrey Walling) 버지니아공대 교수는 가디언에 “학회 심사 위원들은 짧은 시간 안에 수십 편의 논문을 검토해야 한다. 논문 수정은 전혀 이뤄지지 않는다”며 “(연구자들이) 논문의 질보다는 발표 양으로 인정받으려 하는 경향이 있다”고 밝혔다.