이 녀석 수포자야?…수능 봤더니 영어 2등급 수학 9등급

[사진 = 연합뉴스]

미국 의사시험과 로스쿨 시험을 통과하며 세상을 놀라게 한 챗GPT에게 대한민국의 대학수학능력시험을 치르게 해 본 결과 영어는 높은 점수를 획득해 2등급을 받았지만 수학은 최하등급인 9등급을 받은 것으로 나타났다.

기술검증기관 애나는 연세대 인공지능대학 김시호교수 연구팀과 함께 인공지능(AI)챗봇인 챗GPT에게 2023학년도 수능 영어와 수학 과목을 풀어보게한 후 이 결과를 6일 공개했다. 이번 테스트는 수능에 출제된 문제 전체를 입력하고 답을 확인하는 방식으로 진행됐다. 그림이 포함돼 문항의 입력이 불가능한 경우는 제외했다.

실험 결과 챗GPT는 영어 수능 시험에서 듣기 평가의 경우 16문제 중 14문제, 독해 평가는 17문제 중 13문제를 맞춰 합산 점수 82점을 취득했다. 이는 수능 2등급 수준에 해당하는 점수다. 챗GPT는 문단에 함축된 의미 추론, 요지 파악, 글의 목적과 주제 파악 등 난이도가 높은 문제에서도 모두 정답을 맞췄다.

반면 수학에서는 상반된 결과가 나왔다. 공통 과목 분야에서는 20문제 중 6문제에 정답을 맞췄지만 확률과 통계, 미적분학, 기하 분야의 문제는 전부 틀렸다. 수능 등급으로 환산할 경우 최하등급인 9등급 수준의 실력이다.

이상호 애나 최고기술경영자(CTO)는 “챗GPT는 한자리수 곱셈만 가능한 것으로 보인다. 두자리수 곱셈부터는 거의 다 오답”이라고 밝혔다. 그는 “기계학습 방법으로 수학을 배우는 챗GPT의 경우 정확한 데이터가 아니라 오히려 너무 많은 데이터를 분석해 답을 내놓기 때문에 수리영역에서는 ‘애매한 답’을 내놓게 된다”며 “하지만 내년 2월 출시될 챗GPT4는 수리영역에서도 개선된 모습을 보여줄 것으로 기대한다”고 덧붙였다.

챗GPT [사진 AFP = 연합뉴스]