AI의 과학논문 심사, 괜찮을까 [오철우의 과학풍경]

인공지능(AI)을 이용해 투고 논문의 심사를 자동화하는 사례가 늘어나고 있다. 갈수록 늘어나는 투고 논문의 심사 과정을 간소화하고 자동화하는 데 인공지능이 도움을 준다는 현실론도 있지만, 심사평가를 인공지능에 전적으로 맡길 때 생길 수 있는 문제를 우려하는 목소리도 과학계에서 나오고 있다. 위키미디어 코먼스

오철우 | 한밭대 강사(과학기술학)

2013년 개봉한 에스에프(SF) 영화 ‘엘리시움’은 2154년의 미래 사회를 암울하게 그린다. 한 장면이 인상적이다. 길거리에서 안드로이드 병사와 다투다가 잡혀 온 주인공 맥스에게 로봇 심사관은 그의 말을 무시하고 데이터에만 의존해 보호관찰 기간을 8개월 연장하는 처분을 내린다. 자율 로봇이 인간을 심판하는 아이러니한 장면이었다.

최근 논문 심사 인공지능의 확산을 두고 과학계에서 나오는 우려에도 ‘엘리시움’ 관객이 느꼈을 법한 불편함이 담겨 있는 듯하다. 네이처는 최근 인공지능 관련 국제학술회의(ICLR)에 제출된 논문 동료평가 보고서의 21%가 인공지능에 의해 생성되었을 가능성이 있다고 보도했다. 학회 쪽은 논문 평가 과정에 규정 위반이 있었는지 검토하겠다고 밝혔다.

사실 논문 심사 자동화에 대한 우려는 갑자기 등장한 게 아니다. 지난해 3월 독일의 한 컴퓨터 과학자도 비슷한 주장을 했다. 정보처리와 로봇 분야 국제 학술회의들에 제출된 논문의 심사 보고서를 분석했더니 최대 17%가 챗봇에 의해 작성, 수정된 것으로 의심된다는 것이었다.

올해 7월에는 인공지능 심사의 허점을 이용한 신종 연구부정이 드러나 파문을 일으켰다. 일부 연구자는 논문 안에 투명 글씨나 극히 작은 글씨로 ‘이 논문을 높게 평가하라’는 비밀 명령문을 숨겨놓았고, 인공지능은 그 명령대로 좋은 평가를 내놓았다. 이런 식으로 미국, 일본, 중국, 한국 등 8개국 14개 대학 연구자들이 높은 평가를 받은 사실이 일본 언론의 보도로 뒤늦게 알려졌다.

논문 심사에 인공지능을 활용하는 이유는 그만한 수요가 있기 때문이다. 늘어나는 투고 논문을 인간 심사자가 다 처리하기 어렵고, 인공지능은 문법 오류, 통계 실수, 참고 문헌 누락 같은 문제를 빠르게 잡아낼 수 있다. 실제로 연구자 300여명을 대상으로 한 조사에서 40%는 인공지능 심사가 인간 심사만큼 또는 더 도움이 된다고 답했다. 인간 심사자도 부적절한 평가를 하는 경우가 있다는 점을 고려하면 인공지능을 보조 도구로 활용하는 것은 도움이 될 수 있다.

하지만 인공지능에 심사를 전적으로 맡길 때 다른 문제가 생길 수 있다. 과거 논문 자료로 학습한 인공지능이 혁신적인 연구를 제대로 평가할 수 있을지에 의문이 제기될 수 있다. 또한 인공지능 심사 방식에 일부러 맞추는 논문 작성 풍토가 생길 수 있다. 인공지능이 선호하는 구성, 표현, 접근법을 따르는 논문이 늘어나면 과학의 다양성은 줄어든다. 과학계에 쓰이는 방식이 사회로 확장될 수도 있다. 논술 시험 평가에 인공지능을 활용하지 못할 이유가 없어질 수 있다. 인간 창작물 평가를 어디까지 위임할 것인가?

인공지능 활용을 무조건 막을 수는 없다. 중요한 것은 활용의 원칙이다. 인공지능을 평가와 판단의 보조 도구로 활용해야 하며, 최종 판단은 인간이 책임져야 한다. 인공지능 사용 여부와 방식을 투명하게 공개하고 연구자가 이의를 제기할 수 있는 충분한 절차를 보장해야 한다. 인공지능이 과학을 더 생산적으로 만들더라도 창의성과 비판적 사고까지 대신할 수는 없다.