논문광산의 시대[김우재의 플라이룸](86)

AI로 생성한 이미지. 김우재 제공

2017년 취리히대의 레온하르트 헬트와 노르웨이 과학기술대의 안드레아 리블러는 암 부담을 예측하는 통계 모형 하나를 발표했다. 방법론 논문이었고, 한동안 그다지 유명하지 않은 논문이었다. 그런데 2025년 인용이 갑자기 폭발했다. 보통은 축하할 일이다. 하지만 두 사람은 축하하는 대신 조사를 시작했다. 인용의 출처가 이상하리만치 한쪽으로 쏠려 있었고, 인용한 논문들의 제목 구조가 닮았고, 그림 배치가 닮았고, 저자들의 소속 지역이 닮아 있었기 때문이다. 그 조사 결과는 최근 한 임상역학 학술지에 실렸다. 제목이 곧 진단서에 가깝다. “논문공장인가, 논문광산인가.”

공장이 아니라 광산이었다

현대 연구자 대부분이 ‘논문공장’이라는 말에 익숙해졌다. 데이터를 위조하고, 그림을 돌려쓰고, 저자 자리를 돈 받고 파는 조직을 말한다. 2023년 한 해에만 철회된 논문이 1만건을 넘었다. 그런데 헬트 연구팀이 ‘GBD’(Global Burden of Disease·국제 보건 데이터 프로젝트) 데이터베이스에서 발견한 것은 조금 달랐다. 조직적 개입의 흔적이 없었다. 한 출판사가 낸 GBD 재분석 논문 713편을 전부 훑었더니 분석 코드를 공개한 논문은 단 1편이었다. 나머지 712편, 99.9%가 코드를 감췄다. 한곳에서 찍어낸 것일까. 아니었다. 보고된 통계 프로그램의 버전은 제각각이었고, 그림들은 큰 틀만 닮았을 뿐 세부는 달랐다. 공장이라면 이렇게 어수선할 수 없다.

답은 다른 곳에 있었다. 중국 광저우의 한 업체가 GBD 전용 상용 분석 패키지를 팔고 있었다. 미국 국민건강영양조사(NHANES)용도 함께였다. 광고 문구는 노골적이다. 분석을 외주 주면 1만위안이 넘지만 이 패키지는 1980위안에 무제한이라는 것이다. 논문공장의 경쟁자를 자처한 셈이다. 여기에 논문 대필 인공지능, 투고 대행 에이전트, 탐지기를 우회하는 ‘휴머나이저’ 강의까지 붙는다.

이것은 공장이 아니라 광산이다. 누군가 몰래 가짜 광석을 주조하는 것이 아니라 공개된 진짜 광맥에 수만명이 각자 곡괭이를 들고 달려드는 풍경이다. 곡괭이는 시중에서 팔리고, 채굴법은 무료 강의로 배포되며, 광맥은 인류가 세금과 자원봉사로 쌓아올린 공공재다. GBD는 2만명이 넘는 협력자가 검증한 데이터베이스이고, NHANES는 13만여명의 미국인이 제 몸을 열어 제공한 건강 기록이다. 그 데이터를 만든 사람들의 노동은, 그것을 4시간 만에 논문으로 바꾸는 사람의 시간표에는 들어 있지 않다.

숫자가 말하는 붕괴

규모를 직시할 필요가 있다. NHANES로 쓴 논문은 2014년부터 2021년까지 연평균 4편이었다. 2022년 33편, 2023년 82편, 2024년에는 10월까지 190편이었다. 같은 연구팀은 올해 공개 보건 데이터셋 36개 중 9개에서 착취의 징후를 확인했다. 이 9개에서만 지난해 2만3000편의 논문이 쏟아졌다. 가속 페달은 생성형 인공지능이다. 독일 튀빙겐대 연구팀이 논문 초록 1500만건의 어휘 변화를 추적한 결과, 2024년 초록의 최소 13.5%가 대규모언어모델을 거친 것으로 추정됐다. 하위 분야에 따라서는 40%에 이르렀다. 지난해 중국 국영방송 탐사보도에 따르면, 논문공장 직원 1명이 챗봇으로 주당 30편 이상을 완성했고, 우한의 한 업체는 연간 4만건 이상의 주문을 처리했다.

문제는 이 논문들이 틀렸다는 것만이 아니다. 상당수는 형식적으로 틀리지도 않았다. 어떤 학술지 편집진은 GBD를 재활용한 논문 29편에서 수많은 오류를 찾아냈다. 추정치만 존재하는 인구집단끼리 비교하고, 보정 없이 수십개 변수를 훑어 유의한 것만 건져 올린다. 이렇게 만들어진 ‘발견’들이 메타분석에 섞여 들어가고, 이미 과부하 상태인 동료심사 체계 위에 얹힌다. 논문 철회를 추적해온 이반 오란스키는 이 연쇄를 간명하게 요약했다. 출판 압력이 불쏘시개였고 논문공장이 휘발유였다면, 인공지능은 촉진제라는 것이다.

코드가 곧 데이터다

반격도 시작됐다. 한 대형 출판사는 특정 유형의 공개데이터 논문에 외부 검증을 의무화했고, 투고량이 곧바로 70% 넘게 줄었다. 추가 검증이 없는 논문을 사실상 자동 거절하는 출판사도, 공저자 전원에게 최근 3년간 쓴 2차 분석 논문 목록을 요구하는 학술지도 나왔다. 그러나 이 모든 조치보다 중요한 것은 헬트 연구팀이 내놓은 단순한 처방이다. 코드를 공개하라. 새로운 데이터를 만들지 않는 논문에서 분석 코드는 부록이 아니라 실험 그 자체다. 실험 논문에서 세포주나 항체의 출처를 밝히지 않으면 심사를 통과하지 못한다. 그런데 공개 데이터를 돌린 논문은 어떤 패키지를 어떤 버전으로 썼는지조차 밝히지 않고도 출판된다. 통계 프로그램에서는 명령어 한 줄이면 되는 일이다. 713편 중 712편이 그 한 줄을 생략했다. 그것은 게으름이 아니라 은폐다.

이 숫자들이 특정 국가를 향한 손가락질로 끝나면 우리는 아무것도 배우지 못한다. 중국의 젊은 의사들은 학위와 승진을 위해 논문이 필요하지만 연구할 시간은 주어지지 않는다. 그들에게 저자 자리를 사는 일은 생계를 위한 소액 투자로 보인다. 우리는 어떤가. 2014년부터 2018년까지 한국 연구자들이 부실 학회에 참가한 횟수는 1578회, 조사 대상 268개 기관 중 108곳이 이름을 올렸다. 교수가 미성년 자녀를 공저자로 올린 사례는 50개 대학 87명, 139건이었다. 문제의 뿌리는 국적이 아니라 지표다. 논문 편수로 사람을 평가하는 체제가 있는 한, 어느 나라에서나 광산은 열린다.

물론 2차 분석 자체가 죄는 아니다. 존 스노는 남이 작성한 사망 기록으로 콜레라의 지도를 그렸다. 끝난 것은 2차 분석이 아니라 2차 분석에 허용되던 낮은 기준이다. 공개 데이터를 쓰겠다면 더 많은 것을 내놓아야 한다. 코드와 분석 환경, 미리 세운 가설 그리고 그 해석이 왜 새로운지에 대한 대답은 필수다.

100년 전 컬럼비아대의 좁고 어수선한 방에서 모건과 브리지스는 초파리를 나눠쓰고, 돌연변이 계통을 공짜로 보내주고, 실패한 교배까지 노트에 적어 남겼다. 그 방에서 유전학이 태어났다. 그들이 남긴 것은 논문 편수가 아니라 공유 가능한 재료와 검증 가능한 절차였다. 지금 우리에게 필요한 것도 정확히 그것이다. 과학은 광산이 아니라 파리 방으로 움직여야 한다.

김우재 낯선 과학자