AI 6종에 올해 수능 수학 풀게 했더니…모두 ‘만점권’

19일 치러진 2027학년도 대학수학능력시험 수학 영역에서 주요 인공지능(AI) 모델 6종이 모두 만점 안팎의 성적을 냈다. 오픈AI의 ‘GPT-6.2 아스트라’는 전 문항을 맞혔고, 상대적으로 성능이 떨어진다고 평가받는 중국 모델들도 한 문항씩만 틀렸다.
김종락 서강대 수학과 교수팀이 개발한 AI 수학 벤치마크 ‘엔트로피매스(EntropyMath)’가 이날 공개한 결과를 보면, 6개 AI 모델은 선택과목에 따라 모두 92~100점을 받았다.
평가 문항은 공통과목 22문항과 선택과목(확률과통계·미적분·기하) 각 8문항을 더한 46문항이다. 점수는 수험생처럼 공통과목에 선택과목 하나를 골랐다고 보고 계산했다. 추론 강도는 제미나이만 ‘중간(medium)’으로, 나머지 다섯 모델은 ‘낮음(low)’으로 설정했다. 추론 설정을 낮게 잡고도 만점 안팎의 점수를 낸 셈이다.
만점 문턱을 가른 건 이른바 ‘킬러 문항’이었다. 아스트라는 46문항을 모두 맞혀 어느 선택과목을 골라도 만점을 기록했다. 아스트라를 뺀 다섯 모델은 모두 공통 21번, 미적분 30번, 기하 30번 가운데 한두 문항에서 막혔다.
앤트로픽의 ‘클로드 페이블 5.2’는 기하 30번 하나만 틀렸다. 확률과통계나 미적분을 고르면 100점, 기하를 고르면 96점이다. 구글의 ‘제미나이 4 카본’은 공통 21번에 답을 내지 못해 96점을 받았다.
메타의 ‘뮤즈 스파크 1.3’은 공통 21번과 미적분 30번에 답을 내지 못해 92~96점으로 가장 낮았다.
중국 모델의 성적도 눈에 띈다. 문샷AI의 ‘키미 K3.1 프로’는 공통 21번 하나를 틀려 96점을 받았다. 알리바바의 ‘큐웬4 맥스’는 미적분 30번 하나만 틀려 미적분을 고르면 96점, 다른 선택과목을 고르면 100점이다.
두 모델은 AI 성능 평가업체 아티피셜애널리시스의 지능 지수에서 각각 46점, 43점을 받아 미국 3사 최상위 모델(60~65점)에 크게 뒤진다. 종합 지능 지수가 높지 않은 모델도 수능 수학을 푸는 데는 별 어려움이 없다는 뜻이다.
아스트라는 평균 3초대 만에 답을 냈다. 페이블은 5초대, 카본은 9~10초대였다. 중국 모델 큐웬은 평균 13초대를 기록해 시간이 가장 오래걸렸다.
연구팀은 시험지에서 문항을 하나씩 잘라 이미지로 넣고, 모델이 처음 내놓은 답만 채점했다. 모든 모델에 같은 질문과 같은 이미지를 줬고, 글자 인식(OCR) 도구와 검색, 코드 실행은 쓰지 못하게 했다.
김세훈 기자 ksh3712@kyunghyang.com
Copyright © 경향신문. 무단전재 및 재배포 금지.
- 교육부 “수능 부정행위 98건”···‘31명, 11명, 7명’ 3차례 위급재난문자로만 49명 적발
- [속보]대법, 한덕수 ‘내란 혐의’ 일부 무죄 취지 파기환송…“윤석열 막기 어려웠다고 계엄 가
- 리트 만점자 숨진 채 발견…‘부정행위 의혹’ 공개검증 예고날 비극
- [속보] 대법, 김건희 ‘도이치 주가조작·통일교 금품 수수’ 징역 4년 확정
- [속보] 김민석 “조희대 탄핵해야 한다는 판단…절차·내용 지도부에 위임”
- ‘14대 대선 출마’ 박찬종 변호사 별세…생전 약속대로 시신 기증
- 경기 용인 수능 시험장서 소형 카메라·이어폰 소지한 수험생 적발
- [속보] 대법원 “명태균 여론조사, 정치자금 수수 아냐”
- 김혜경 여사 소탈한 모습 중국에서 화제···이재명 대통령 따라 ‘국회 담장 인증샷’도 인기
- 200만원 스마트폰 주머니에 ‘쏙’ 넣고···“무료인 줄 알았다” 황당 변명