수학과 민주주의 [김민형의 여담]

라파엘로가 16세기 초 바티칸 사도 궁전에 그린 ‘아테네 학당’(The School of Athens). 위키미디어 코먼스

김민형 | 영국 에든버러 국제수리과학연구소장

‘수학이란 무엇인가’ 질문은 당연히 답이 거의 불가능하다. 굉장히 다양한 종류의 활동, 관습, 의사소통, 사고방식 등을 아우르는 말이기 때문에 수학의 정체성에 관한 질문은 ‘문화란 무엇인가’만큼 어렵다. 그러나 대학에서 연구하는 수학자 사회에서는 자신의 본업을 ‘정리를 증명하는 것’으로 비교적 간단하게 생각하는 경우가 많다. 헝가리 수학자로 조합론의 대가 에르되시 팔은 ‘수학자는 커피를 연료로 정리를 생성하는 기계’라는 말을 즐겨 인용했는데, 이런 선입관을 비교적 잘 표현한다.

현시대 수학 연구에서 ‘증명’이 중대한 위치를 차지하는 것은 분명하다. 통상적으로 수학 연구에서 ‘문제를 풀었다’는 말은 ‘정리를 증명했다’는 말과 거의 동일하게 쓰인다. 가령 ‘골드바흐 추측을 풀었다’고 누군가가 선언한다면 ‘2보다 큰 짝수는 항상 소수 두개의 합으로 표현된다’는 명제를 증명했다는 뜻이다. 언제부터 수학에서 증명이 지금만큼 중요해졌는가 그 자체가 어려운 역사 질문이다. 유럽 전통에서는 19세기를 거치면서 증명의 지위가 급부상했다는 데 역사학자 대부분이 동의한다. 물론 지금도 증명이란 수학적 활동의 일부일 뿐이다. 수학을 사용하는 과학자들, 예를 들자면 물리학자들만 해도 증명을 보는 시각이 수학자와 다르고 통계학, 생물학, 공학 등에서는 효율적인 계산법이 엄밀한 증명보다 훨씬 비중이 클 때가 많다.

증명의 근원에 관한 흥미로운 추측 중에 정치·사회적인 여건의 영향을 강조하는 이론이 있다. 요약하면 고대 그리스의 민주주의 문화와 수학적 증명의 발전 사이에 긴밀한 상관관계가 있다는 주장이다. 현재 학자 중에는 스탠퍼드 대학의 고전학자 레비엘 네츠가 이 이론의 강력한 지지자여서, 최근 발행된 그의 책 ‘고대 그리스는 왜 중요한가’의 주제 중 하나다.

네츠에 따르면 권위와 무관하게 누구나 동의할 만한 출발점에서 논리적인 근거만 가지고 진리를 밝혀 나가는 과정이 수학적 증명의 핵심이다. 이것은 자유로운 사고와 토론 문화가 풍성했던 아테네의 민주주의 체제가 가능하게 했을 것이라고 생각한다. 신화적인 사고가 이성적 세계관으로 바뀌는 과정에서 민주 문화가 형성됐다는 종류의 담론은 고전학자들 사이에서 오래됐기 때문에 수학적 증명도 같은 맥락에서 분석하는 것이 어쩌면 자연스럽다. 네츠의 또 하나 중요한 지적은 기원전 5세기 말 그리스 이전에는 수학 문서의 저자가 기록되는 경우가 거의 없었다는 것이다. 이 관습은 다른 고대 수학과 그리스 수학의 중요한 구분점이고 저자의 중요성이 부각되면서 자연스럽게 일어난 민주적인 경쟁이 인간 창의력에 박차를 가했다고 그는 말한다.

이는 현대 수학자에게 꽤 듣기 편한 이야기지만 반박도 얼마든지 가능하다.(네츠도 이런 반박을 잘 알고 있다.) 가령, 거주자의 상당수가 노예이고 여성에게 투표권이 없던 사회가 얼마나 민주적이었을까 질문을 던지는 학자는 예전부터 당연히 많았다. 또, 신권 사회로 간주하는 고대 이집트나 바빌로니아의 고등한 수학과 그리스 수학이 진정으로 얼마나 달랐었나 추궁하다 보면, 수준 높은 수학에 민주주의가 필요조건은 아니었다고 여겨지기도 한다.

이런 어려운 토픽을 짧은 글에서 다룰 수는 없다. 그러나 내가 수학자로서 증명과 민주주의 사이에 간극을 느끼는 가장 큰 이유는 정확한 역사적 인식보다 선생으로서의 경험 때문이다. 나는 30년 정도 전세계 11개 대학에서 학생들을 가르칠 기회를 가졌다. 그중에는 탁월한 학생도 수없이 많았고 학업 태도도 대부분 진지했다. 나는 그들에게 증명이란 ‘설득력 있는 체계적인 설명’일 뿐이라고 늘 강조해 왔다. 그러나 여전히 대다수 학생의 선입관은 수학적 증명이란 무언가 굉장히 특별한 사고와 서술 기법의 기발한 조합이라는 것이다. 그들에겐 수학적 증명을 올바르게 하는 작업이 게임의 기이한 규칙들을 익히는 것과 크게 다르지 않고 수학적 사고는 상당한 고통을 수반한다. 즉, 다르게 표현하자면 그들이 교육을 통해서 접해온 수학적 증명은 민주주의가 아니라 일부 엘리트가 강요하는 독재에 훨씬 가까웠다.

이 사실을 직면하는 학자는 ‘대중의 무지’를 개탄하기 쉽다. 그러나 그것은 너무나도 피상적인 핑계이고 오히려 학문의 독재적 성향을 드러내는 관점이기도 하다. 우리가 옳다고 여기는 사고 체제가 어째서 수많은 인간에게서 소외감을 불러일으키는가. 심각하게, 그리고 순수하게 질문하면서 수학과 민주주의의 안정적인 조화를 찾아 나갈 필요를 스스로 느낀다.