[주말N수학] 수학에서 증명은 왜 중요할까

왼쪽부터 이승재 인천대 수학과 교수, 이은수 서울대 철학과 교수. 수학동아 제공

오랜 세월 동안 수많은 수학자가 증명을 통해 수학을 발전시켜왔다. 증명은 새로운 이론을 개발하고 문제를 해결하는 핵심 도구기 때문이다. 수학을 이해하기 위해 증명에 관한 논의가 꼭 필요한 이유다. 오늘은 증명의 쓰임과 역사를 통해 그 역할과 중요성을 알아보려고 한다.

○ 첫 번째 질문  |   증명이란 무엇인가.

Q(인문학자). 오늘은 수학의 핵심인 증명에 관해 생각해볼 텐데요. 증명이 뭔가요.

A(수학자). "수학은 진리를 추구하는 학문, 답을 찾는 학문이라는 인식이 있어요. 이러한 인식의 밑바탕에는 수학의 근간인 ‘증명’이 있다고 생각해요. 증명은 말 그대로 어떤 명제, 어떤 주장이 참인지 혹은 거짓인지를 온전히 밝혀내는 거예요. 이렇게 증명이 된 명제 중에 중요하거나 유명한 것을 피타고라스의 정리나 페르마의 마지막 정리처럼 ‘정리’라고 부르지요."

Q(인문학자). 증명을 수학의 근간이라고 하는 이유가 있나요.

A(수학자). "어떤 주장이 논리적으로 빈틈없이 참임을 보이기 위해서는 그것이 증명돼야 하기 때문이에요. 고대 그리스 수학자 에우클레이데스(기원전 3세기경)는 증명을 통해 소수를 일일이 세지 않고도 ‘무한히 많은 소수가 있다’는 사실을 밝혀냈어요. 이 예시에는 두 가지 흥미로운 점이 있어요. 

먼저 에우클레이데스의 이 증명은 그 당시 고대 그리스는 물론 지금도 소수는 똑같이 무한하다는 ‘절대성’을 갖고 있어요. 증명된 명제는 언제 어디서든 참이라고 할 수 있지요.

두 번째로는 증명을 이용하면 불가능을 말할 수 있어요. 어떤 주장이 참인지를 보이는 것만큼 어떤 것이 불가능한지를 판별하는 것도 중요해요. 이 증명을 통해서 모든 소수를 다 세어보려는 시도가 본질적으로 불가능하다는 걸 알 수 있지요."

Q(인문학자). 수학에서 증명이 하는 역할이 뭔가요.

A(수학자). "수학은 증명을 통해서 발전해요. 새로운 개념이 정의되고 증명된 사실을 기반으로 새로운 명제를 증명하면서 계속 다음 단계로 확장하지요. 수학은 증명이란 조각들로 구성된 퍼즐 같아서 하나라도 잘못된 퍼즐 조각이 있거나 빈틈이 있으면 전체 퍼즐을 완성할 수 없어요.

영국의 수학자 고드프리 해럴드 하디(1877~1947)의 저서 '어느 수학자의 변명'에 수학에 관한 유명한 글이 있어요.

어느 수학자의 변명의 일부 내용. 수학동아 제공

우리가 위대한 업적을 남긴 수학자의 인생을 다 알지는 못하지만 그 사람의 정리 혹은 증명이 지금도 남아있는 걸 보면 하디의 말처럼 어떤 사실을 증명해낸 수학자는 불멸에 가깝다고 할 수 있지요."

Q(인문학자). 그렇다면 증명은 항상 절대적인가요.

A(수학자). "아주 예리한 지적인데요. 수학적 증명은 본질적으로 정의와 가정에 의존해요. 그러므로 정해진 규칙이나 공리 안에서 증명된 명제는 절대성과 보편성을 가지지만 이 규칙이나 공리 자체가 과연 절대적인 진리인지를 물어보면 누구도 쉽게 대답할 수 없습니다.

‘삼각형 내각의 합은 180다’라는 명제는 증명됐지만 이는 사실 유클리드 기하학, 평행선 공리를 가정했을 때 참이거든요. 평행선 공리가 바뀌는 비유클리드 기하학에선 이 명제가 거짓이에요.

그렇다면 ‘유클리드 기하학과 비유클리드 기하학 중 하나가 틀린 것 아닌가’라고 생각할 수 있는데 두 가지 모두 논리적 모순이 없는 공리계라는 점이 수학을 재미있게 또 어렵게 만들지요. 

심지어 오스트리아계 미국 수학자 쿠르트 괴델(1906~1978)은 ‘불완정성 정리’라는 파격적인 정리를 남겼어요. 모순이 없는 논리적인 공리계라면 그 안에서 언제나 증명할 수 없는 명제를 찾을 수 있다는 것을 증명했지요.

그러니까 한 공리계 안에서 어떤 명제가 참임을 증명할 수 있지만, 공리계가 바뀌면 거짓으로 바뀔 수도 있는 데다가 정해진 공리계 안에서도 절대 증명할 수 없는 명제가 항상 있다는 거예요. 수학은 절대적이거나 완전무결하지 않다는 것을 보여주지요."

○ 두번째 질문  |   증명은 어떻게 2000년 넘게 쓰일까요.

Q(수학자). 증명은 언제, 어디에서 처음 시작됐나요.

A(인문학자). "기원이 하나가 아닐 수 있지만 465개의 기하학 명제를 일일이 모두 증명한 에우클레이데스의 '원론'이 증명의 중요성을 각인시킨 건 분명합니다. 물론 고대 그리스뿐 아니라 중국, 바벨로니아, 이집트 등 여러 문명에서 각자만의 증명 방식이 있었어요. 하지만 우리가 지금 증명이라고 부르는 전형적인 형태나 조건은 그리스 수학에서 기인했다고 볼 수 있지요.

왜 이곳에서 증명이 꽃폈을까를 짐작해보면 시민들 사이에 자유로운 연설과 토론을 장려했던 고대 그리스 사회가 중요한 역할을 했을 것이라 생각합니다. 고대 그리스인은 상대방을 설득하기 위해 주요 쟁점에 대해 연설하고, 철학적 토론을 했어요. 

수학도 자연의 진리를 상대방한테 설득하는 작업이라고 생각한다면 그 당시의 가장 효율적인 설득 방식이 곧 증명이었다고 볼 수 있습니다. 고대 그리스에서 증명을 수학만 독점한 것은 아니에요. 플라톤이나 아리스토텔레스 같은 학자는 철학에서도 논리의 형태로 엄격한 증명을 시도했거든요."

Q(수학자). 고대 그리스 때부터 있던 증명을 어떻게 지금까지 활발하게 쓰는 걸까요.

A(인문학자). "크게 두 가지 이유를 생각해볼 수 있어요. 하나는 '원론'이 수학에서 가장 중요한 교과서 역할을 했기 때문이에요. 에우클레이데스는 이 책에서 여러 명제를 엮어서 순차적으로 증명하는 연역적 체계를 만들었어요. 이 책이 오랫동안 사람의 수학적 지식의 토대를 이루면서 이 책을 배운 사람이라면 누구나 에우클레이데스가 제시하는 증명에 매료되고 그 방식에 익숙해졌을 거예요.

다른 이유는 전혀 그럴 것 같지 않은 여러 수학적 진리를 증명으로 설득해냈기 때문입니다. 증명은 이전에는 몰랐거나 아니라고 생각했던 사실을 논리적인 과정을 통해 말이 되게끔 만들어요.

정다면체는 다섯 종류만 존재한다든지 외접하는 원뿔, 구, 원기둥의 부피 비가 1 : 2 : 3이라는 아름다운 정수비를 이룬다든지요. 이렇게 놀라운 사실을 증명을 통해 참이라고 입증할 수 있었어요. 따라서 증명이라는 매력적인 도구를 2000년 넘게 쓸 수밖에 없었지요."

Q(수학자). 그렇다면 에우클레이데스의 증명 방식에 대한 비판이나 좀 더 나은 증명 방식을 찾기 위한 새로운 도전은 없었나요.

A(인문학자). "물론 있었죠. 5세기에 활동했던 고대 그리스 철학자이자 신플라톤주의자 프로클로스가 에우클레이데스의 '원론' 1권의 주석서를 썼습니다. 이를 통해 '원론'이 세상에 나온 지 800년이 지난 당시 사람들이 원론의 내용을 어떻게 생각하는지 프로클로스의 시점으로 알 수 있지요.

프로클로스는 에우클레이데스의 증명이 크게 여섯 부분으로 구성된다고 말하면서 증명에 정형화된 규칙이 있다는 것을 발견했어요. 증명이 당시 수학을 하던 사람들 사이에 공통 약속처럼 자리를 잡았다는 것을 알려줍니다. 

그럼에도 '원론'의 증명 방식에 대한 비판과 새로운 도전도 있었습니다. 에우클레이데스는 이 책에서 귀류법을 120번 넘게 사용해요. 귀류법은 간접 증명의 한 종류인데요. 이렇게 많은 간접 증명을 직접 증명으로 바꾸려는 논의와 시도가 있었어요. 단순히 참임을 증명하는 차원을 넘어서서 이것보다 더 나은 증명은 없을까 하는 의문을 꾸준히 제기했지요."

직접증명과 간접증명의 차이. 수학동아 제공

○ 세번째 질문  |   증명은 수학자만의 일인가.

Q(수학자). 수학자들은 어떤 증명이 더 좋은 증명인지, 우리가 어떤 공리까지 받아들여야 하는지 등을 끊임없이 고민하고 있어요. 그런데 최근에는 인공지능이 발달하면서 수학자가 하던 증명을 인공지능이 할 수 있을지에 관한 논의로 확장하고 있어요. 교수님 생각에는 수학자가 하는 증명을 인공지능이 어디까지 할 수 있을까요.

A(인문학자). "인공지능이 지금까지의 증명 방식들을 학습하면 난제에 관한 새로운 아이디어를 낼 수 있다고 생각해요. 수학자가 아무리 똑똑해도 지금까지 증명돼 온 모든 방식과 내용을 다 알 수 없어요. 인공지능이 지금까지 벌어진 일을 큰 그림에서 살펴보고 a와 b의 방법론을 엮어서 c라는 새로운 방법론을 만들 수 있지요." 

Q(인문학자). 그렇게 된다면 수학에서 비약적인 발전이 있을 거예요. 수학자의 생각은 어떤가요.

A(수학자). "인공지능의 수학 증명은 최근 많은 도전과 발전이 동시에 이뤄지고 있는 분야예요. 증명은 사실 관계 속에서 논리적인 추론을 통해 새로운 연결을 짓는 일이에요. 인공지능이 그걸 해낸다면 스스로 창의적인 학습이 가능한 거지요.

최근 연구결과에 따르면 인공지능이 대학 수학에서 배우는 기본적인 정리를 증명할 수 있답니다. 인공지능이 수학 증명에서 어느 정도 걸음마를 떼고 있는 셈이지요.

한편으로는 현대 수학이 세분화하고 분야별로 발전하면서 수학자마저도 자신의 분야를 조금만 벗어나면 다른 수학자의 논문을 이해하거나 읽기가 점점 더 어려워지고 있어요. 누군가 논문을 쓰면 그 논문 속 증명이 맞았는지 틀렸는지를 검증해야 하는데 그렇게 하기 어려워지는 단계에 이르고 있는 것이지요. 그래서 수학자들은 인공지능이 증명을 검증하는 걸 도와줄 수 있으면 수학이 훨씬 더 체계적으로 발전할 수 있지 않을까 하는 생각해요.

한편 증명은 주어진 공리 안에서 참이라는 논리적 추론을 쌓아 올리는 건데 인공지능에게 이 공리계를 온전히 전달하는 게 생각보다 쉽지 않아요. 그래서 인공지능에게 공리를 정확히 알려주기 위해서 공리를 재정비하는 과정도 함께 논의하고 있어요. 그래서 저는 ‘인공지능이 수학을 증명할 수 있을까?’보다는 ‘인공지능이 증명할 수 있도록 수학이 발전할까?’가 더 맞는 질문이라 생각하고 개인적으로는 그렇게 될 거라고 생각해요."

※관련기사
수학동아 12월호, [Rethinking] 제 11화. 증명은 왜 중요한가?

[김진화 기자 evolution@donga.com]