AI에 도쿄대 시험지 줬더니... 합격자 최고점 넘었다

사진=연합뉴스

생성형 인공지능(AI) 챗GPT가 일본 최고 수준의 난도를 가진 도쿄대 입시 문제에서 가장 높은 점수를 기록했다. 공개된 합격자 최고점보다 50점 높은 수준이다.

28일 산케이신문 등 일본 현지 매체에 따르면, AI 스타트업 ‘라이프프롬프트’는 주요 생성형 AI 모델을 대상으로 2026년도 도쿄대·교토대 입시 문제 풀이 실험을 진행한 결과를 발표했다. 실험에는 오픈AI의 챗GPT, 구글의 제미나이, 앤스로픽의 클로드 등 3개 모델이 사용됐다.

이번 평가는 대학입학공통테스트와 도쿄대·교토대 2차 시험 문제를 기반으로 진행됐다. 문제는 PDF를 이미지 형태로 변환해 입력했으며, 웹 검색 없이 모델 자체의 학습 지식과 추론 능력만으로 답하도록 설계됐다. 서술형 답안은 일본 대형 입시학원 가와이주쿠 강사가 실제 채점 기준에 따라 평가했다.

그 결과 챗GPT는 도쿄대 인문사회 계열에서 550점 만점에 452점, 자연계열에서 503점을 기록했다. 이는 공개된 합격자 최고점(인문 434점, 자연 453점)을 웃도는 수준이다.

교토대 입시에서도 높은 점수를 기록했다. 법학부에서는 885점 만점에 771점, 의학부 의학과에서는 1275점 만점에 1176점을 받았다.

과목별 성적에서는 강점과 한계가 동시에 드러났다. 챗GPT는 도쿄대 이과 수학(120점)과 문과 수학(80점)에서 모두 만점을 기록했으며, 교토대 이과 수학(200점), 문과 수학(150점)에서도 모두 만점을 받았다. 화학 역시 만점을 기록했다. 전년도 동일 실험에서 도쿄대 이과 수학 38점에 그쳤던 것과 비교하면, 1년 사이 추론 능력이 크게 개선된 것으로 평가된다.

반면 서술형 과목에서는 성과가 제한적이었다. 영어는 약 90% 수준의 점수를 기록했지만, 세계사 등 서술형 비중이 큰 과목에서는 25% 수준에 머물렀다. 정보 선별, 서술 구조화, 출제 의도 해석 등에서 한계를 보였다는 분석이다.

다른 AI 모델들도 유사한 흐름을 보였다. 제미나이는 도쿄대 이과 계열에서 496점을 기록해 최고점 수준에 근접했고, 클로드는 최고점에는 못 미쳤지만 전 계열에서 합격선 대비 100점 이상 높은 점수를 기록했다.

라이프프롬프트는 2024년부터 동일한 방식의 실험을 진행해왔다. 당시 챗GPT-4는 모든 계열에서 합격권에 들지 못했으나, 2년 만에 성능이 크게 개선된 것으로 나타났다.

사토시 엔도 라이프프롬프트 대표는 “AI 발전 속도가 매우 빠른 만큼 기업들은 향후 10~20년의 비즈니스 환경을 고려해 인공지능 도입 전략을 준비할 필요가 있다”고 말했다.

김민주 기자 minjoo@hankyung.com