“챗GPT도 ②번이라는데”…AI도 헷갈린 수능 세계사 2번 정답

민나리 2026. 11. 22. 17:29
자동요약 기사 제목과 주요 문장을 기반으로 자동요약한 결과입니다.
전체 맥락을 이해하기 위해서는 본문 보기를 권장합니다.

"이게 다 진시황 업적인데 어떻게 수나라죠? 챗GPT를 돌려도 ②번이라고 하는데."

지난 19일 치러진 2027학년도 대학수학능력시험(수능) 세계사 2번 문항을 두고 한국교육과정평가원 홈페이지에 올라온 이의신청 글이다.

따라서 진시황이 단행한 '분서갱유'(서적을 불태우고 유학자들을 탄압한 사건)를 적은 ②번이 아니라 수 문제가 폐지한 관리 선발 제도인 '9품중정제'를 적은 ④번이 평가원이 제시한 정답이다.

정제원 EBS 입시 대표 강사는 "이번 문항에는 수나라 문제의 업적이 명확하게 제시돼 있어 정답이 뒤집힐 가능성은 희박하다"면서도 "일선 역사 교사들도 중요하게 다루지 않는 세부적인 내용을 출제했다는 점에서 문항의 질은 높게 평가하기 어렵다"고 지적했다.

음성재생 설정 이동 통신망에서 음성 재생 시 데이터 요금이 발생할 수 있습니다. 글자 수 10,000자 초과 시 일부만 음성으로 제공합니다.
번역beta Translated by kaka i
글자크기 설정 파란원을 좌우로 움직이시면 글자크기가 변경 됩니다.

이 글자크기로 변경됩니다.

(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.

AI 답변 근거로 수능 이의신청
모델 추론 설정 따라 정답·오답 갈려
가채점 오답률 92.6%, “정답 변경 희박”

“이게 다 진시황 업적인데 어떻게 수나라죠? 챗GPT를 돌려도 ②번이라고 하는데.”

지난 19일 치러진 2027학년도 대학수학능력시험(수능) 세계사 2번 문항을 두고 한국교육과정평가원 홈페이지에 올라온 이의신청 글이다. 22일 평가원의 ‘문제 및 정답 이의신청 게시판’에는 이처럼 인공지능(AI)의 답변을 근거로 정답에 의문을 제기하는 의견이 접수됐다. 실제 오픈AI의 챗GPT, 앤트로픽의 클로드, 구글의 제미나이에 해당 문항을 풀게 하자 같은 문제를 놓고도 모델과 추론 설정에 따라 서로 다른 답을 내놨다.

논란이 된 세계사 2번은 제시문에 등장하는 중국 황제의 업적을 고르는 문항이다. 도량형을 통일하고 새로운 화폐를 주조했다는 설명은 중국 최초의 통일 황제인 진시황을 연상시킨다. 그러나 제시문에는 수도에서 퉁관에 이르는 운하인 ‘광통거(廣通渠)’를 착공했다는 내용이 등장한다. 광통거는 진시황이 아닌 수나라 문제(양견)의 업적이다. 따라서 진시황이 단행한 ‘분서갱유’(서적을 불태우고 유학자들을 탄압한 사건)를 적은 ②번이 아니라 수 문제가 폐지한 관리 선발 제도인 ‘9품중정제’를 적은 ④번이 평가원이 제시한 정답이다.

AI에 같은 문항을 풀게 한 결과는 흥미로웠다. 챗GPT의 빠른 응답 방식인 ‘인스턴트’는 처음 ③번을 제시한 뒤 제시문과 선택지가 맞지 않아 정답이 없다는 취지로 설명했다. 중간 수준의 추론 설정인 ‘미디엄’은 진시황의 업적인 ②번을 골랐다. 반면 더 높은 수준의 추론을 수행하도록 설정한 ‘하이’는 광통거가 수나라 문제의 업적이라는 점을 짚고 ④번을 정답으로 제시했다. 클로드와 제미나이도 일반 무료 이용 환경에서는 ②번을 선택했지만, 상위 모델을 선택한 환경에서는 ④번을 찾아냈다.

특히 클로드는 무료 이용 환경에서 문제를 이미지가 아닌 텍스트로 직접 입력했을 때도 ②번을 정답으로 지목했다. 중국 통일과 도량형 정비를 근거로 진시황을 지목하면서도 정답을 가르는 단서인 광통거는 해설에서 언급하지 않았다. 이후 답변을 재검토해 달라고 요청하자 광통거가 수나라 문제의 업적이라는 점을 짚으며 정답을 ④번으로 수정했다. 처음 내놓은 답을 다시 검토하도록 했을 때 결과가 달라진 것이다. 이미지 입력으로 비교한 7가지 모델·설정 가운데 4가지가 첫 답변에서 오답을 냈다.

전문가들은 이 같은 차이의 배경으로 답변을 생성하는 과정에서 투입되는 연산량과 추론 방식의 차이를 꼽는다. 최병호 고려대 인공지능연구소 교수는 추론 수준이 높은 모델일수록 답을 내놓기 전 여러 가설을 세우고 검토하는 데 더 많은 연산을 투입한다고 설명했다. 최 교수는 “추론 수준이 높은 모델은 스스로 가설을 세우고 기각하는 과정을 반복하며 답을 검증한다”며 “경량화 모델은 이런 숙고 과정이 거의 없거나 얕아 정확도가 떨어질 수 있다”고 말했다.

최 교수는 이러한 성능 차이가 AI를 학습 도구로 활용하는 학생들에게도 영향을 미칠 수 있다고 지적했다. 같은 질문을 하더라도 어떤 AI를 이용하느냐에 따라 답변의 정확성과 설명의 깊이가 달라질 수 있기 때문이다. 그는 학생들이 이용할 수 있는 AI의 수준이 경제적 여건에 따라 달라질 경우, 기존의 교육 격차가 AI 활용 과정에서도 확대될 수 있다고 우려했다.

일부 AI가 정답으로 지목한 ②번은 EBSi 가채점에 참여한 수험생들 사이에서도 압도적으로 많이 선택됐다. 참여자의 87.7%가 ②번을 고른 반면, 평가원이 제시한 정답인 ④번을 선택한 비율은 7.4%에 그쳤다. 오답률은 92.6%에 달했다. 다만 이는 EBSi 가채점에 참여한 수험생들의 응답 결과로 전체 수험생의 정답률을 의미하지는 않는다.

류성완 EBSi 세계사 강사는 해설 강의에서 도량형과 화폐 통일만 보고 진시황이라고 판단하면 틀린다며 광통거에 주목해야 한다고 강조했다. 여러 업적 가운데 특정 황제를 가려내는 결정적인 단서를 찾아야 한다는 것이다. 류 강사는 이번 세계사 시험 전체에 대해서도 EBS 강의 경력 12년 가운데 “압도적으로 제일 어려웠다”고 평가했다.

AI의 답변을 근거로 이의신청이 제기되고 가채점에서 높은 오답률이 나타났지만, 정답 자체에 오류가 있는지는 별개의 문제라는 게 입시 전문가들의 판단이다. 정제원 EBS 입시 대표 강사는 “이번 문항에는 수나라 문제의 업적이 명확하게 제시돼 있어 정답이 뒤집힐 가능성은 희박하다”면서도 “일선 역사 교사들도 중요하게 다루지 않는 세부적인 내용을 출제했다는 점에서 문항의 질은 높게 평가하기 어렵다”고 지적했다. 남윤곤 메가스터디교육 입시전략연구소장도 “AI가 제시한 답이 반드시 정답이라고 단정하는 것부터 오류”라며 문항의 적절성에 대한 평가와 실제 정답의 오류 여부는 구분해야 한다고 설명했다.

이날 오후 기준 평가원 이의신청 게시판에는 세계사 2번과 관련해 20여건의 의견이 접수됐다. 평가원은 23일까지 이의신청을 받은 뒤 다음 달 1일 최종 정답을 발표할 예정이다.

민나리 기자
이지 기자

Copyright © 서울신문. 무단전재, 재배포, AI 학습 및 활용 금지.