[대덕포럼] 선도형 연구 위한 새로운 평가지표 필요

최근에 양적 성과 넘어
질적 우수한 연구 강조
변화의 흐름 논의 필요

신은정 과학기술정책연구원 기초연구정책센터장

연구 성과를 평가할 때 우리는 흔히 측정할 수 있는 성과를 중심으로 판단한다. 연구의 가치가 논문 편수나 인용 횟수만으로 설명될 수 없다는 사실을 잘 알면서도 평가 현장에선 당장 확인할 수 있고 서로 비교하기 쉬운 지표에 의존하기 마련이다. 문제는 측정의 편의성이 평가의 기준이 되고, 나아가 연구의 방향까지 좌우할 수 있다는 점이다. 기존의 잣대로 평가할 수 있는 연구만이 좋은 연구로 간주되면 연구자는 결국 평가의 잣대에 자신의 연구를 맞추게 된다.

다행스럽게도 이러한 평가의 왜곡을 바로잡으려는 국제사회의 움직임이 10여 년 전부터 본격화하기 시작했다. 2012년 발표된 '샌프란시스코 연구평가선언(DORA)'은 저널의 영향력지수(IF)와 같은 획일적인 지표에서 벗어나 다양한 연구의 성과와 기여를 평가할 것을 제안했다. 미국세포생물학회를 시작으로 현재 세계 175개국 2만 7000여 기관과 개인이 이 선언에 동참했다. 2015년 라이덴 선언은 더욱 구체적인 평가 매트릭스에 주목해 정량평가의 한계를 보완하는 평가지표의 활용 원칙을 제시했다. 2022년 출범한 연구평가개선연맹(CoARA)은 이러한 논의를 기관 차원의 실천으로 확장하고 있다. 연구평가 개선에 관한 협약을 바탕으로 전 세계 연구기관과 연구비 지원기관 등이 평가방식의 변화를 모색하도록 이행을 촉진하는 글로벌 협력체로 발전하고 있다.

그 결과, 학술저널의 주요 지표와 연구평가의 방식도 조금씩 변화하고 있다. 저널의 명성에 의존하던 평가에서 벗어나 연구 분야별 특성과 개별 논문의 영향력을 살펴보려는 시도가 확대되고 있으며, 논문 이외의 다양한 연구성과와 기여를 포착하기 위한 정보와 지표도 개발되고 있다. 중요한 것은 평가의 대상을 '쉽게 셀 수 있는 성과'에서 '연구가 실제로 만들어낸 가치'로 옮기려는 흐름이다.

이러한 맥락에서 최근 주목할 만한 시도 가운데 하나가 '메타사이언스 신규성 지표 챌린지(Metascience Novelty Indicator Challenge)'다. 기존 연구와 차별화되는 신규성, 독창성, 참신성은 연구를 연구답게 만드는 핵심 가치다. 새로운 질문과 발견은 학문 발전뿐 아니라 사회경제적 혁신을 이끄는 원천이다. 그러나 신규성을 바로 측정하기란 쉽지 않은 탓에 보편적인 평가지표로 활용되는 데엔 한계가 있었다. 이 한계에 도전하기 위해 2025년 영국 정부의 메타사이언스 조직과 비영리재단의 후원 아래 연구의 신규성을 측정하고 검증하는 글로벌 챌린지가 시작됐다. 전 세계 연구팀들이 신규성을 포착할 수 있는 새로운 방법을 제안했다. 우승은 논문의 전체 내용을 종합적으로 분석하는 인공지능(AI) 기반 지표를 개발한 독일 연구팀에게 돌아갔다. 지난 6월 사이언스에 소개된 기고문은 챌린지 수상자의 소감을 인용하면서 이와 같은 대안적 신규성 지표가 기존의 평가 방식을 보완할 수 있다고 전망했다.

물론 신규성을 하나의 지표로 완벽하게 측정할 수 있다고 기대해선 안 된다. 새로운 지표 역시 또 하나의 획일적 잣대가 되는 순간 기존 문제를 반복할 수 있다. 그럼에도 이 챌린지가 중요한 이유는 '무엇을 측정할 수 있는가'가 아니라 '우리가 연구에서 무엇을 중요하게 생각하는가'를 환기시켰다는 데 있다. DORA에서 라이덴 선언, CoARA, 그리고 최근의 신규성 지표 개발에 이르기까지 일련의 움직임을 관통하는 철학도 여기에 있다. 평가라는 수단에 갇힌 연구가 아니라 연구의 목적을 회복하는 것이다. 이미 고착된 평가의 틀을 주어진 조건으로 받아들이고 연구를 그 틀에 맞추는 것이 아니라, 좋은 연구가 무엇인지 먼저 묻고 그 가치를 제대로 포착할 수 있도록 평가의 방식을 바꾸자는 것이다.

우리나라에서도 최근 선도형 연구, 탁월한 연구, 양적 성과를 넘어 질적으로 우수한 연구가 강조되고 있다. 선도형 연구를 확대하기 위해서는 어떤 연구를 장려할 것인지에 대한 논의와 더불어 그러한 연구의 가치를 어떻게 발견하고 평가할 것인지에 대한 검토가 필요하다. 이제는 연구의 변화를 요구하는 것과 함께 그 변화를 제대로 알아볼 새로운 평가의 틀과 지표를 탐색해야 할 때다. 신은정 과학기술정책연구원 기초연구정책센터장