[단독]‘AI 돌린거 아냐?’…국교위 서·논술형 숙의자료에 웬 ‘대장내시경’ 논문이?

국민참여위원에 배포한 자료서 오류 무더기 확인

차정인 국가교육위원회 위원장이 지난 11일 인천 남동구 콜라보마이스컨벤션센터에서 열린 국가교육발전 계획 수립을 위한 현장 토론회 ‘국민과 함께 그리는 미래 대입제도’에서 인사말을 하고 있다. 연합뉴스

국가교육위원회(국교위)가 대학수학능력시험(수능) 서·논술형 평가 도입 등을 논의할 국민참여위원들에게 배포한 사전학습자료에서 대입과 무관한 대장내시경 의학 논문이 참고문헌에 포함되는 등 출처 오류가 무더기로 확인됐다.

특히 인공지능(AI)을 서·논술형 답안 채점에 활용 가능하다고 설명한 부분에 오류가 집중됐다. AI 활용 가능성을 강조한 국가기관의 숙의자료에서 정작 기본적인 출처 관리와 검증에 허점이 드러나면서, 자료 작성 과정에서 AI를 활용한 것 아니냐는 의문과 함께 충분한 검증 없는 AI 활용의 위험성을 역설적으로 보여준다는 지적이 나온다.

28일 경향신문이 국교위가 공개한 ‘미래 대입제도 사전학습자료집’의 본문 각주와 참고문헌을 대조한 결과, 서·논술형 평가에서 AI를 활용할 가능성을 다룬 부분에서 출처 오류가 대거 나타났다.

해당 자료집은 오는 29~30일 경기 화성에서 열리는 미래 대입제도 숙의토론을 앞두고 국민참여위원들에게 미리 배포됐다. 국민참여위원 500명 가운데 203명이 이번 토론에 참여할 예정으로, 주요 의제는 미래 대입제도 개편 방향과 내신 서·논술형 평가 확대 및 수능 서·논술형 평가 도입 여부다.

자료집은 AI가 서·논술형 평가를 안정적으로 지원할 수 있다고 전망하면서도, 충분한 사전 검증을 거치고 최종적으로 교사의 판단을 보조하는 방식으로 사용해야 한다고 설명했다. 그러나 정작 이같은 주장을 뒷받침하기 위해 본문에서 각주로 인용한 문헌 20개 중 17개가 참고문헌 목록에서 빠졌다.

반대로 본문에서 인용조차 하지 않은 대장내시경 관련 논문 등이 참고문헌에 대거 포함됐다. ‘대장내시경 검사에서 인공지능 노출 이후 내시경 전문의의 탈숙련화’(Endoscopist de-skilling after exposure to artificial intelligence in colonoscopy)가 대표적이다.

이 논문은 AI에 지속적으로 노출된 대장내시경 의사에게 ‘탈숙련’이 나타날 가능성을 다룬 연구다. 숙의 자료집은 AI가 교사의 채점을 안정적으로 지원할 수 있다고 전망했지만, 해당 논문은 교육과 무관한 데다 오히려 AI의 지속적인 활용이 인간 전문가의 숙련도를 떨어뜨릴 가능성을 다뤘다. 연구진은 AI 같은 의사결정 지원시스템에 지속적으로 노출되면 인간이 시스템의 권고에 지나치게 의존하게 되고, AI의 도움 없이 판단할 때 임상의의 동기와 집중력, 판단에 대한 책임감이 낮아질 수 있다고 분석했다.

국민참여위원들은 사전에 배포된 자료집을 토대로 숙의에 참여하는 만큼, 정확한 정보 제공이 중요하다. 국교위는 이번 숙의토론이 “균형 잡힌 사전정보를 제공하고 충분한 토론 기회를 보장”해 숙고된 국민 의견을 듣는 데 초점을 맞췄다고 밝혔다.

국교위 사정을 잘 아는 한 관계자는 본문과 참고문헌이 대거 불일치하고 무관한 논문까지 포함된 오류 양상을 들어 자료 작성 과정에서 생성형 AI가 활용됐을 가능성을 의심했다. 이 관계자는 “AI를 충분한 검증 없이 사용했을 때 얼마나 위험할 수 있는지를 보여주는 사례”라며 “법정기구인 국민참여위원회에 제공하는 학습자료를 이런 식으로 만든다는 것은 상식적으로 납득하기 어렵다”고 말했다.

국교위가 그간 AI를 활용한 서·논술형 평가 가능성을 적극적으로 검토해왔다는 점에서 이번 오류는 더욱 뼈아프다는 지적도 나온다. 차정인 국교위원장은 지난 12일 국회 교육위원회에서 일본의 서·논술형 평가 도입 무산 사례가 거론되자 “10년 전 일본과 지금 대한민국의 AI 발달 상황은 완전히 다르다”며 “전문가들로부터 수능 같은 전국 단위의 시험을 (AI가) 채점하는 시스템을 확보하는 게 가능하다는 답변을 받았다”고 말한 바 있다.

국교위는 경향신문 취재 이후 문헌 오류를 확인했다며 이날 오후 자료집 수정본을 재배포했다. 수정본에서는 대장내시경 관련 논문이 참고문헌에서 삭제됐고, 당초 누락됐던 AI 채점 관련 문헌들이 추가됐다. 국교위 관계자는 “숙의 자료집은 한국교육과정평가원 전문가에게 의뢰해 작성했으며 국교위는 최종 검수를 맡았다”면서 “작성 과정에서 생성형 AI는 사용하지 않았다”고 말했다.

김지혜 기자 kimg@kyunghyang.com