[주말N수학] 천재는 신화일 뿐…'러셀의 역설'과 좌절
● 역설을 타파할 회심의 해결책
1901년 버트런드 러셀은 독일 수학자 게오르그 칸토어의 집합론에서 훗날 '러셀의 역설’이라 불릴 내용을 발견했습니다. 이내 칸토어의 집합론을 토대로 한 모든 수학적 성과가 무너져내렸지요. 이로써 러셀이 집필 중인 '수학 원리'의 목표는 분명해졌습니다. 칸토어의 집합론을 대체할 새로운 수학의 토대를 구축하는 것이었습니다.
역설을 타파하기 위해 러셀은 집합론을 대체할 ‘유형 이론’을 고안했습니다. 러셀의 유형 이론은 오늘날의 유형 이론과는 조금 다릅니다. 러셀의 이론에 따르면 개개의 대상은 ‘유형 0’입니다.
유형 0으로 이뤄진 집합은 ‘유형 1’이고 유형 1로 이뤄진 집합은 ‘유형 2’입니다. 이같이 모든 수학적 대상은 저마다 유형을 가지며 오직 동일한 유형끼리만 집합을 이룰 수 있습니다.
예를 들어 개개의 도시가 유형 0이라고 합시다. 그러면 여러 도시로 이뤄진 국가는 유형 1이고 여러 국가로 이뤄진 대륙은 유형 2가 됩니다. 유형 이론에 따르면 동일한 유형끼리 모인 {서울, 런던, 카이로}, {한국, 영국, 이집트}, {아시아, 유럽, 아프리카}는 모두 집합입니다.
그러나 {서울, 영국, 아프리카}는 다른 유형의 대상이 한 데 묶여 러셀의 유형 이론에 따른 집합이 아닙니다.
이같이 러셀의 유형 이론은 원소와 집합의 위계 관계를 엄격히 구분하기 때문에 칸토어의 집합론에서 생기는 역설적인 집합이 없습니다.
이제 러셀과 알프레드 노스 화이트헤드에게 남은 일은 칸토어의 집합론 없이 유형 이론만 가지고서도 수학의 토대를 구축할 수 있음을 보이는 것이었습니다. 둘은 이 작업이 길어 봤자 1, 2년 안에 끝나리라고 생각했습니다. 하지만 그들의 생각은 틀렸다는 것은 흘러가는 시간이 증명해줬습니다.
※ 러셀의 역설
무한집합에 관한 칸토어의 집합론에서 발견된 역설이에요. 자기 자신을 원소로 갖지 않는 모든 집합의 집합은 자신을 포함하면서 동시에 포함하지 않게 되면서 모순이 발생해요.
● '수학 원리'가 러셀을 좌절하게 만들다
1904년 여름 영국, 러셀이 본격적으로 '수학 원리'의 집필에 나선 지 1년이 지난 때.
러셀은 넋 나간 얼굴로 책상 위의 빈 종이를 바라보고 있습니다. 아침부터 그는 식사 시간을 제외하고 하루 종일 책상 앞에만 앉아 있었습니다. 하지만 여전히 종이는 텅 비어 있었습니다.
귀뚜라미가 우는 소리에 러셀은 창밖을 내다봅니다. 어느덧 땅거미가 지고 있습니다. 절망감이 등을 타고 기어 올라옵니다. 이대로 자리에서 일어날 수는 없다는 절박함에 논리식 몇 개를 끄적여 봅니다.
그러나 러셀은 알고 있습니다. 자신이 적고 있는 논리식이 아무 의미도 없다는 것을. 어차피 몇 주가 지나면 또다시 문제가 발견돼 처음부터 다시 시작해야 하리라는 사실을.
'수학 원리'를 집필하던 시기는 러셀과 화이트헤드에게 악몽 같은 나날이었습니다. 수학의 토대를 구축하는 작업은 사람을 미치게 할 정도로 어려운 일임이 곧 분명해졌습니다.
처음에 둘은 러셀의 유형 이론에 큰 희망을 품었지만 이 이론 또한 나름대로 심각한 문제가 있었습니다. 가장 큰 자연수가 존재할 수도 있다는 말도 안 되는 결론을 함의했거든요. 이에 당황한 러셀과 화이트헤드는 자연수가 무한히 많다는 명제를 아예 공리에 포함하는 무리수를 두었습니다.
이 선택은 치명적이었는데요. 가장 단순한 원리만 가지고서 수학의 토대를 구축하겠다는 '수학 원리'의 목적과 완벽히 상충했기 때문입니다. 이 밖에도 문제는 속속히 발견됐고 그에 따라 공리의 개수도 점점 늘어났습니다.
시간이 흐를수록 '수학 원리'는 러셀과 화이트헤드가 꿈꿨던 순수 논리학과 멀어졌습니다. 임시 방편적 공리들 그리고 지나치게 복잡해진 체계로 아수라장이 되어 버리고 말았지요. 4, 5년이 지나자 러셀은 '수학 원리'가 실패작이 되리라는 사실을 짐작했을 겁니다. 그러나 이제 와서 포기하기에는 이미 너무 많은 시간이 흘렀지요.
'수학 원리'는 러셀의 대인 관계에도 악영향을 미쳤습니다. 화이트헤드와의 관계가 껄끄러워졌습니다. 둘의 학문적 가치관에는 차이가 있었고 이 차이는 집필 과정에서 충돌로 이어졌어요. 게다가 화이트헤드는 겉보기와 달리 정신이 불안정했습니다. 혼잣말로 자기 비하적인 말을 중얼거렸고 가끔은 며칠 동안이나 아무에게도 말을 하지 않았습니다.
그러나 무엇보다 심각했던 것은 아내 알리스 피어솔 스미스와의 관계였습니다. 고된 연구로 예민해진 러셀의 눈에 아내의 단점이 자꾸 들어오기 시작했어요. 단점이야 사람이면 누구나 하나둘씩 가지고 있지만 괴로운 시기를 보내던 러셀에게는 견딜 수 없는 것들이었죠.
러셀은 아내에게 “더 이상 당신을 사랑하지 않는다”는 말을 전했고 결국 둘은 이혼합니다. 훗날 러셀은 당시 자신의 행동이 ‘역겹다’고 회고하지요.
● 아직 수학을 공부하는 이유
혹시 인터넷에서 1 + 1 = 2의 증명으로 소개되는 아래 ‘짤’을 본 적이 있나요.
저는 초등학생이었을 때 이 짤을 봤는데요, 아주 인상깊었던 기억이 생생합니다. 물론 증명은 하나도 이해가 안 돼 증명 자체에 감탄한 것은 아니었지요. 대신 1 + 1 = 2와 같은 기초 명제마저 증명할 수 있는 정교한 체계를 구축한 수학자에게 감탄했어요.
당시 저는 이 증명을 완성한 수학자가 누구인지는 모르겠지만, 분명 복잡한 수식을 술술 전개해 나가는 엄청난 천재일 것이라고 생각했습니다.
대학교에 들어가고 수학의 세계로 깊게 들어가면서 두 가지 사실을 알게 됐습니다. 첫째, 그 유명한 1 + 1 = 2의 증명은 러셀과 화이트헤드가 집필한 '수학 원리'의 379쪽의 한 단락이었습니다. 둘째, 그들은 평범한 인간이었습니다. 이 책을 집필하면서 좌절하고, 몸부림치며 이혼까지 하게 된 사람들. 인간적인, 너무나 인간적인 사람들이었죠.
어떤 문제가 주어지든 가뿐히 해결하는 그런 천재는 신화 속에나 나오지요. 모든 수학적 업적 이면에는 수백 장의 구겨진 종이와 고뇌가 있습니다. 그러나 그런 것들은 결과물의 영광에 가려 잊히기 쉽습니다.
개인적인 이야기를 하자면 많은 분이 저의 학업적 성취에 감탄하며 천재라고 추켜세웁니다. 무슨 수학 문제가 주어지든 제가 가뿐히 해결할 거라고 생각하지요. 천만의 말씀입니다. 수학은 저에게 가장 많은 괴로움을 준 요인입니다.
제가 시험장에서 나오며 눈물을 흘렸던 시험은 모두 수학 시험이었습니다. 수십 분 동안 고민하던 수학 문제의 답안이 어이없을 정도로 간단할 때마다 ‘나는 멍청한 건가’ 하는 회의감에 시달렸고요.
어려운 수학에 넋이 나가 있을 때는 러셀처럼 소중한 사람과의 관계에 금을 낸 적도 있습니다. 그리고 단언컨대 제가 대학원에 진학해 수학을 더 깊이 공부하면 지금까지의 일은 사소해 보일 정도로 심각한 어려움을 경험할 것입니다.
그렇다면 왜 저는 아직도 수학을 공부하고 있을까요. 아니, 어떻게 아직도 수학을 그토록 좋아할 수 있을까요. 아마 그것은 애정을 뛰어넘는 ‘애증의 힘’ 때문이 아닐까요.
종종 애정은 무지에서 비롯됩니다. 애정의 대상을 막 만난 무렵에는 좋은 점만 눈에 들어오지만 시간이 흘러 단점이 눈에 띄기 시작하면 애정의 마음은 사그라듭니다. 반면 애증은 그렇지 않습니다. 애증은 이것이 나에게 얼마나 큰 괴로움을 줄지 누구보다 잘 알면서도 그것을 포용하겠다는 다짐입니다. 그렇기 때문에 애정은 일시적이지만 애증은 평생에 걸쳐 지속됩니다.
수학자와 수학의 관계는 애증의 관계입니다. 수학이 지적으로 고되고 힘겨운 학문이라는 점에는 이견의 여지가 없습니다. 그럼에도 수학자들은 수학을 사랑합니다. 그 모든 괴로움을 짊어질 가치가 있을 만큼 수학은 우아하고 근사한 학문이기 때문입니다.
'수학 원리'의 집필이 끝난 1910년, 러셀에게 논리학은 철천지원수였습니다. 그러나 어린 시절부터 수학에 매료된 그는 논리학을 손에서 놓을 수 없었습니다. 정계로 진출할 기회가 있었지만 영국 케임브리지대에서 ‘수학 기초론’ 강연을 맡지 않겠냐는 제안을 대신 수락했습니다.
그리하여 그해 가을 러셀은 다시 케임브리지대로 돌아갑니다. 앞으로 그곳에서 그는 새로운 학생을 여럿 만나겠지요. 그중 20세기의 가장 중요한 철학자 루트비히 비트겐슈타인도 포함돼 있었습니다.
※필자소개
최정담 KAIST 수리과학과 학생. 수학 베스트셀러 '발칙한 수학책'의 저자인 최정담은 수학 대중화에 관심이 많고 수학과 철학을 공부하는 KAIST 수리과학과 학생입니다.
※관련기사
수학동아 7월호, [러셀 탐구생활] 천재는 하나의 신화일 뿐이다
[최정담 KAIST 수리과학과 학생,이채린 기자 ,rini113@donga.com]
Copyright © 동아사이언스. 무단전재 및 재배포 금지.