AI가 내놓은 점수, 교사들이 ‘정답’처럼 생각한다면?[AI에 교육을 먹이면]

News Image

인공지능(AI)이 학교의 평가 도구로 부상하면서 관련 연구도 증가하고 있다. 다수의 연구는 AI가 교사의 평가를 보완하는 역할을 할 수 있다고 봤지만, 여전히 교사의 역할이 중요하다고 방점을 찍었다. 온전히 AI에만 평가를 맡기기에는 아직 여러 한계가 있다는 것이다. 일부 연구 논문은 AI 채점 프로그램을 납품하는 업체 관계자들이 효과성을 강조하는 형태로 쓰여진 사례도 있었다.

22일 ‘교육과정평가연구’에 올해 실린 ‘논술형 평가에서 AI 협업 기반 채점자 협의와 전통적 채점자 협의의 양상 비교’를 보면, 복수의 평가자(교사)들이 논술 평가를 할 때 AI를 사용할 때와 전통적 평가방식의 차이를 다뤘다.

연구진은 AI를 평가에 사용하면 “AI 점수가 합의의 기준점으로 작용해 초기 기준 설정과 채점자 간 중재가 용이했다”면서도 “AI 결과가 정답처럼 받아들여지는 순간, 협의가 본래의 목적을 상실하고 단순한 점수 일치의 장으로 축소될 위험이 있었다”고 했다. 연구진은 AI를 활용한 교사들이 “AI 결과와 자신의 판단이 일치할 때 안도감을 느끼거나” “무의식적으로 AI 점수를 ‘정답’으로 받아들이는 경향을 보였다”는 분석도 내놨다.

연구진은 AI 채점 이후 협의과정이 오히려 교사들 간 전통적 협의보다 오히려 긴 시간이 걸렸다면서 “AI의 채점 근거와 피드백이 추가적 쟁점을 제공해 논의의 심층성을 높이는 동시에 채점자 부담을 가중시킨 결과”라고 했다. 그러면서 “AI 협업 기반 채점자 협의는 전통적 협의를 대체하기보다 보완할 때 채점 신뢰도와 협의의 심층성 제고에 기여할 수 있다”고 결론지었다.

지난해 출간된 논문 ‘과정중심평가를 위한 인공지능 서비스의 사용자 경험 분석과 개선 과제 탐색’은 평가 설계 단계에서 교사의 노동력 투입이 집중적으로 이뤄진다고 분석했다. 연구진은 “평가 설계 단계에서는 시간이 더 많이 소요되었다는 교사들의 응답이 다수 있었다”며 “AI 기반 도구가 반복적인 작업에서는 강력한 도구이지만 평가 설계와 같은 창의적이고 복잡한 과정에서는 교사의 전문성과 개입이 여전히 필요함을 보여준다”고 했다.

올해 학술지 ‘교육학연구’에 실린 논문 ‘사회과 서·논술형 문항 자동채점을 위한 프롬프트 엔지니어링 기법 간 유용성 비교’은 프롬프트(명령어)에 따라 AI 평가의 결과값이 달라질 수 있음을 보여준다. 연구진은 “AI(챗GPT-4o)가 ‘논리적 뒷받침’이나 ‘해결 방안 도출’과 같이 고차 인지를 평가하는 영역에서 일치도가 낮게 나타났다”며 “생성형 AI 기반 자동채점 결과를 제2의 평가 의견으로 보완적으로 활용하거나, 교사의 채점 의도를 면밀히 반영한 정교한 프롬프트를 추가로 설계할 필요가 있다”고 제언했다.

일부 연구 논문에는 경기도교육청에 AI 채점 프로그램을 납품하는 A사 관계자들이 AI 채점의 효과성을 강조하는 내용이 담겼다. A사 관계자 2명이 올해 ‘한국콘텐츠학회논문지’에 투고한 논문 ‘교사의 평가 업무 경감 위한 AI 평가 지원 도구 활용의 효과’에는 A사의 AI 채점 프로그램을 쓴 교사들의 “물리적 시간과 심리적 부담이 평균 42~50% 가량 감소했다”는 내용이 담겼다. 이 논문은 과학기술정보통신부의 지원을 받아 수행된 연구에 기반했다는 점도 밝히고 있다.

연구진은 “교사를 지원하는 AI는 교사의 전문성을 보완하고 평가의 질적 수준을 높이는 조력자로서 역할에 충실해야 한다”면서도 A사 제품의 효과성을 여러 층위에서 강조했다. 연구진은 “A사 제품이 교사의 평가 업무 부담을 줄여 평가의 질을 높이는 데 기여한다” “A사 제품과 같은 AI 기반 기술이 교육 현장에서 널린 확산돼 활용될 때 교사의 평가 업무 경감 효과가 커질 수 있다” “교사가 평가 외 다른 교육 활동에 집중할 수 있도록 도움을 줘 전반적인 교육의 질 향상에 기여한다”는 장점을 열거했다.

---

☞ AI 서술형 채점 ‘27초 컷’···‘개별 피드백’ 가능하지만 ‘클릭’마다 점수 다르기도 [AI에 교육을 먹이면]
     https://www.khan.co.kr/article/202512221658011/?utm_source=urlCopy&utm_medium=social&utm_campaign=sharing

---

김원진 기자 onejin@kyunghyang.com, 김송이 기자 songyi@kyunghyang.com