[김민형의 여담] 좋은 수학 문제란 무엇인가?

[김민형의 여담]

2024학년도 대학수학능력시험을 30일 앞둔 17일 서울 시내 한 고등학교에서 고3 학생이 자율 학습하고 있다. 연합뉴스

김민형 | 영국 에든버러 국제수리과학연구소장

해마다 수능 시험에 관한 토론에서 ‘나쁜 문제’에 대한 비난이 빠질 수 없다. 문제에 오류가 있는 경우는 물론 그보다 훨씬 복잡한 의미의 ‘나쁨’이 논란의 대상이 된다. 가령 수학 시험의 가장 고난도 문제들은 ‘비비 꼬여 있다’는 것도 잦은 불평 중 하나다.

문제가 ‘꼬였다’는 것이 무슨 뜻인지 파악하려고 나도 나름 노력할 일이 있었다. 최근 어느 방송국 기획팀에서 수년치 수능 수학 난제들을 보내줘 살펴봤다. 그 결과 정확히 ‘이것이 잘못됐다’고 지적하기는 어려웠다.(분명히 난도 높은 문제들이었고 나 같으면 주어진 시간 안에 못 풀었을 가능성이 크기는 하다) 물론 수능 시험 전체에 대한 여러 정치-사회-교육적인 비판이 가능하다. 단답형 시험의 한계, 시험 범위의 문제, 지나친 경쟁구조, 교육 자원의 공정성 등 많은 사람이 지적하고 있다. 그런 이슈들을 더 명확하게 파악하기 위해서라도 나는 될 수 있으면 수학 그 자체의 관점에서 문제들을 평가하려 했다.

좋고 나쁜 문제 판단이 어렵다는 사실은 수학 연구에서도 부단히 나타난다. 수학은 다른 학문 체계에 비해 논리전개의 투명성과 엄밀성을 중요시한다. 그러나 논리가 옳아야 한다는 것은 문장의 문법이 맞아야 한다는 정도의 학문적 필요조건이다. 연구의 중요성을 주장할 때는 거기서 다루는 문제나 이론이 어떤 의미에선가 좋다는 판단을 수반한다. 따라서 뛰어난 학술지에 주어진 논문을 게재하느냐는 결정도 궁극적으로 그 논문에 얼마나 좋은 수학이 풍부하게 들어있는지 판단에 의존한다. 그리고 거기서는 상당한 의견 차이도 날 수 있고 시대에 따라서 수학계 전체의 가치관이 바뀌기도 한다.

내가 학자 생활을 하던 기간에 해결된 수학 문제 중에 가장 유명한 것은 아마도 ‘페르마의 마지막 정리’ 아닌가 싶다. 자연수 n이 3 이상이면 등식 xⁿ + yⁿ = zⁿ을 만족하는 0이 아닌 정수 x, y, z가 전혀 없다는 명제다. 프랑스의 수학자 페르마가 17세기에 이를 제안하고 증명을 후대에 남기지 않았지만 수백년 지난 1995년 영국 수학자 앤드류 와일즈가 130쪽 길이 어려운 논문에서 증명하는 데 성공했다.

요점은 이 문제가 풀리기 전까지 그 중요성에 관해 여러 의견이 있었다는 것이다. 가령 18~19세기 가장 뛰어난 수학자로 평가되는 가우스는 그것을 어렵기만 하고 별 의미 없는 여러 문제 중 하나라고 비꼬았다. 내용 자체가 너무 간단해서 수학을 좋아하는 아이들이나 아마추어들의 관심도 지속해서 끌어왔다. 와일즈 자신도 어린 시절 이 문제에 끌린 이후로 별 중요성이 없다는 판단에 어른이 돼서는 오랫동안 생각하지 않았다고 한다. 그러다가 수학의 가장 고등한 이론 중 하나로 꼽히는 랭그랜즈 프로그램의 일부인 시무라-타니야마 추측으로부터 페르마의 정리가 따른다는 사실이 밝혀지고 나서 그 추측을 증명하는 데 전념해서 결국 성공하고 그로부터 페르마의 정리도 덩달아 해결됐다. 그렇다면 그 중요하다는 랭그랜즈 프로그램은 무엇인가? 너무나 많은 배경지식과 고등한 언어를 요구하기에 수학자들 대부분도 이해하지 못하는 내용이다. 그 정도로 ‘비비 꼬인’ 이론 같으면 자연스럽지 못한 그릇된 연구 방향이라고 믿는 수학자들도 적지 않다.

그것은 수학 연구 이야기이고, 중고등학교 수학에서는 좋고 나쁜 문제를 쉽게 판별할 수 있다고 믿는 사람도 있다. 그러나 학교에서 배우는 수학도 학문의 긴 역사 속에서 보면 비교적 최근에 밝혀진 고등한 내용들이다. (고대 그리스의 가장 뛰어난 수학자들도 수능 수학은 대부분 이해 못할 것이다.) 그 때문에 좋고 나쁜 문제 판단을 섣불리 할 수 없는 경우가 얼마든지 나타난다.

방송국으로부터 문제들을 받고서 인터뷰 직전에 몇몇 학교 선생님들의 의견을 듣고 싶어서 갑작스럽게 줌 회의를 열었다. 금요일 저녁 귀중한 시간에 좋은 피드백을 주신 선생님들이 많아 우리나라 교육자들의 열성과 높은 수준에 다시 한번 감탄했다. 그런 분들의 실력과 열의와 사려 깊은 고민 덕분에 허구한 날 같은 말만 나오는 듯한 피곤한 교육담론 속에서도 여러 해 지나고 보면 (가령 내가 어렸을 때와 비교해 보면) 우리나라의 교육 수준이 엄청나게 발전했음을 목격할 수 있는 것 같다.