논문 보는 ‘눈’ 가진 알고리즘 등장...“학계 불평등 심화 우려”

논문이 인용된 횟수를 기준으로 논문 자체를 평가하거나, 또는 논문 검토자(피어리뷰어)의 '보는 눈'을 평가하는 알고리즘이 나왔다./픽사베이

논문이 인용된 횟수를 기준으로 논문 자체를 평가하거나, 또는 논문 검토자(피어리뷰어)의 ‘보는 눈’을 평가하는 알고리즘이 나왔다.

국제 학술지 네이처는 25일(현지 시각) 스위스 프리부르대와 중국 베이징사범대 연구진이 학술지를 평가하는 피어리뷰어 알고리즘 개발했다고 밝혔다. 이 알고리즘은 한 피어리뷰어가 이전에 논문을 평가한 점수와, 실제로 논문이 향후 인용된 횟수를 비교해 해당 피어리뷰어를 평가하는 방식이다.

논문을 저널에 실으려면 같은 분야 동료 연구자들에게 평가를 받아야 한다. 이 알고리즘을 활용하면 ‘보는 눈’이 좋은 연구자에게 피어리뷰를 맡기거나, 또는 사람대신 논문을 평가할 수 있다. 일부 전문가들은 ‘인용 횟수’에만 의존해 경력은 짧지만 해당 논문을 심사하는 데 알맞은 전문가를 알고리즘이 놓칠 수 있다고 지적했다.

연구진은 1990~2010년 미국물리학회(APS) 저널에 실린 논문 중 인용 횟수가 5회 이상인 30만8243개 데이터를 이용해 이 가상 피어리뷰어 알고리즘을 만들었다. 연구진은 이 알고리즘이 1990~2000년 동안에 실린 논문을 심사해, 실제 점수와 비슷한 점수를 내도록 만들었다. 이후 2000~2010년에 실린 논문들을 얼마나 효과적으로 평가하는지 분석했다. 그 결과 이 알고리즘이 좋은 점수를 매긴 논문들은 실제로 인용 횟수가 많은 것으로 나타났다. 젱안(An Zeng) 베이징사범대 시스템과학부 학술연구원은 “이 알고리즘이 영향력이 큰 논문을 예측할 수 있다는 뜻”이라고 설명했다. 동시에 피어리뷰어에 적용하면 논문을 검토하는 ‘보는 눈’도 평가 가능하다.

이전에도 학계에서는 논문의 질을 정량화해 평가하려는 시도를 했었다. 하지만 전문가들은 인용 횟수에만 크게 의존해 오히려 질 좋은 논문을 놓치게 될 것을 우려했다.

젱 연구원 역시 인용 횟수에 의존하게 될 것이라는 한계를 인정했다. 하지만 그는 “그래서 피어리뷰어의 작업을 평가하는 것이 중요하다”며 “지금까지 피어리뷰어가 얼마나 전문적이고 신뢰할 만한지에 대해서는 관심이 거의 없었다”고 지적했다. 젱 연구원은 “알고리즘이 신뢰할 수 있는 전문가를 식별할 수 있다면 반대로 신뢰하기 어려운 전문가에게는 피어리뷰를 맡기지 않을 수 있을 것”이라고 설명했다.

지금도 저널 편집자는 동료 검토 논문을 맡기기 위해 검색도구를 이용해 전문가를 찾는다. 하지만 최종적으로 피어리뷰어를 결정하는 것은 사람이다. 젱 연구원은 “피어리뷰어에 대한 평가를 정량화하면 저널 편집자가 피어리뷰어를 선택하는 데 도움이 될 것”이라고 말했다.

일각에서는 이 알고리즘이 오히려 불평등과 편견을 강화할 수 있다고 우려하기도 했다. 애니타 밴드로스키(Anita Bandrowski) 미국 UC 샌디에이고 박사후연구원은 “지금까지 피어리뷰어들은 각 분야에서 소수의 전문가로 대부분 ‘저널 편집자와 지리적으로 가까운 고소득 국가의 고위직 남성’”이라며 “이 알고리즘은 인용에 대한 정보를 이용하므로 오랜 검토 경력을 가진 사람들을 선호할 수 있다”고 지적했다. 결국 리뷰를 많이 했던 사람을 알고리즘이 선택해 새롭고 참신한 연구자나, 해당 논문을 검토하기에 가장 적절한 전문가를 놓칠 수도 있다는 얘기다.

로라 피텀워커(Laura Feetham-Walker) 영국 물리학출판연구소 리뷰어관리자는 “알고리즘에 피어리뷰어의 검토 횟수 외에도 전문 지식과 해당 주제에 대한 관심 등도 고려할 수 있는 능력이 필요하다”며 “새로운 리뷰어를 찾는 것은 연구자뿐 아니라 저널에게도 필요한 일이기 때문”이라고 말했다.

이 연구 결과는 국제 학술지 ‘응용 전문가 시스템(Expert Systems with Applications)’ 온라인판 2월호에 실렸다.

참고 자료

Nature(2024) DOI: https://doi.org/10.1038/d41586-024-01235-w

Expert Systems with Applications(2024) DOI: https://doi.org/10.1016/j.eswa.2024.123551

- Copyright ⓒ 조선비즈 & Chosun.com -