[칼럼] 수학의 최대 난제 '리만 가설'로의 초대

[북데일리] 일반적으로 사람들은 대학입시를 치르고 나면, 지긋지긋한 수학과 작별을 고하게 된다. 그렇다면 사람들은 왜 이렇게 수학을 어렵게 여기는 걸까? 사람들은 수를 더하고 빼는 산술학은 그렇게 어렵게 여기지 않는다. 이러한 경향은 뉴턴이 창안한 미적분학에서 비롯되는 것 같다. 이 책 <리만 가설>(승산. 2006)의 저자인 존 더비셔는 미적분학에서 시작된 해석학 분야의 오래된 난제인 "리만 가설"을 소개하면서 난해한 수학 개념을 일상의 용어로 풀어서 일반 독자에게 접근을 시도하고 있다.

리만 가설

제타 함수 function의 자명하지 않은non-trivial 모든 근들 zeros은 실수부가 ½이다.

수학자들이 아닌 일반인들에게 리만 가설은 그야말로 아프리카 오지 언어처럼 보인다. 이것은 저자 역시 서문에서 인정한 사실이다. 사실 고도의 추상성을 가진 수학 가설을 일반인이 이해하는 건 거의 불가능에 가깝다.

그래서 저자가 선택한 방법은 각 장을 홀수와 짝수로 나누어서 홀수장에는 리만 가설을 이해하기 위한 수학적 증명을 제시하고, 짝수장에는 리만이 활동하던 19세기 사회배경과 리만 가설을 증명하려는 수학자들의 에피소드를 다루고 있다. 필자가 보기에는 이 책에 나오는 수식을 이해하기 위해서는 고등학교 수준으로는 턱없이 부족하고 대학에서 수학 전공을 해야지 어느 정도 따라 잡을 수 있을 것 같다. 궁금해 하는 사람을 위해 리만 가설에서 가장 중요한 수식 두 가지를 보여주겠다.

저자는 이러한 수식이 어떻게 나오는지를 여러장에 걸쳐 상세히 설명해준다. 수학을 끔찍이 싫어하는 필자 역시 개념이해를 위해 수식만이 아닌 그림, 그래프를 동원한 시각적 방식을 통해 어느 정도 감을 잡을 수 있었다. 소수 정리와 황금정리는 리만 가설의 중요한 이론적 근거가 되는 수식이다. 소수는 수의 단위가 커질수록 나타나는 빈도가 적어지며, 이러한 경향을 근사적으로 풀이하는 도구로써 제시되며 소수 정리와 황금열쇠는 이 책에서 반복적으로 출현한다.

1859년 8월에 베른하르트 리만은 그 당시 최고 권위를 갖고 있던 베를린학술원의 회원이 되면서 그 당시 자신이 연구하던 논문 하나를 내게 된다. 이 논문에서 리만은 극한과 연속성을 주제로 하는 해석학적 문제를 산술학과 결합하여 그 전과는 전혀 다른 해석적 정수론의 지평을 열게 된다. 리만이 제기한 소수의 분포에 대한 추측은 그 후 150년간 수학자들을 괴롭히게 되는데, 이 책은 난제를 풀려고 노력하는 수학자들의 인간적인 모습에 초점을 두고 있다.

그렇다면 산술학과 해석학의 위대한 융합을 당대 유명한 수학자들을 제치고 리만이 해낸 이유는 무엇일까? 저자는 그것을 다음과 같이 설명하고 있다.

"리만이 이룬 업적은 기반을 이루는 두 개의 상반된 관점에서 탄생하였다. 첫째, 그는 주변의 모든 사물을 거대한 구조의 일원으로 간주하는 거시적 관점을 갖고 있었다. 그래서 수학적 함수를 단순한 점의 집합으로 간주하지 않았으며, 그래프나 수식으로 표현된 함수는 항상 무언가가 부족하다고 생각했다...... 둘째, 그는 수학에 등장하는 모든 대상들을 철저하게 분석하여 더 이상 쪼갤 수 없는 근원에 이를 때까지 끈질기게 추적하는 집요함을 보였다."

여기서 나타나는 리만의 수학적 감성은 아주 미세한 작은 입자에서 우주 전체의 거대함에 이르기까지 일관된 정신세계로 보여주고 있다. 이러한 개념은 20세기 초 물리학에 혁명을 가져온 아인슈타인의 상대성이론과 닮아있다. 상대성이론의 수학적 기초가 리만의 곡면기하학에서 나온 것은 우연이 아니었다.

책은 전체적으로 2 부분으로 구성되어 있다. 1부 "소수 정리" 는 해석학에서 중요하게 다뤄지는 무한의 개념과, 오일러의 황금 열쇠, 가우스의 소수에 대한 이론에 대한 역사를 다루고 있다. 2부 "리만 가설" 는 1900년 수학자 힐베르트에 의해 난제로 제기된 역사적 과정과 리만 가설에서 가장 중요한 개념인 제타 함수의 그래프를 통한 시각적 이해, 20세기 후반 중요한 이슈인 정수론과 양자역학의 만남, 황금 열쇠의 실용적 사용, 리만 가설을 풀기 위한 다양한 노력들을 흥미롭게 기술하고 있다.

저자는 수식과 그래프로 표현되는 현실에 존재하지 않은 추상적 영역에서 전개되는 수학에 대한 일반인의 편견을 없애기 위해 노력한다. 예를 들어, 1장 카드마술에서 극한의 개념을 설명하기 위해 카드를 사용한다. 일반적으로 카드는 52장이지만, 상상력을 동원해서 무한개의 카드가 있다고 가정한다. 그리고 맨 위의 카드를 떨어지지 않게 절반까지 민다. 이러한 과정을 무한번 반복한다고 했을 때 카드는 어느 정도까지 폭이 기울어질지에 대해서 수식을 통해서 증명한다. 이 책의 목적을 수학 수식의 현실에 대한 모사라고 해도 큰 무리는 없을 것 같다.

수학자에게 던지는 가장 흔한 질문 "그거 어디다 쓸 건가요?"이 질문에 대한 답으로 저자는 자크 아다마르의 저서인<수학적 발견의 심리학>의 한 부분을 인용한다.

"질문이 제기되어야 답이 나타난다... 실제 생활에 도움이 되는 결과는 우리가 그것을 찾는다고 해서 스스로 나타나지 않는다. 인류 문명의 모든 진보는 바로 이러한 원리에 의해 이루어진다... 실용적인 질문은 대부분 현존하는 이론을 통해 답이 주어진다... 중요한 수학 연구가 실용적인 결과로 이어지는 경우는 거의 없다. 모든 과학이 그렇듯이, 수학적 연구를 촉진하는 것은 무언가를 알고 이해하려는 욕구인 것이다."

저자가 "리만 가설" 에서 가장 중요하게 여기는 것은, 소수 이론의 실용성이 1970년대에 이르러 암호학에 소수가 도입되면서 인류의 운명을 좌우하기 시작했다던가 아니면 물리학자들이 '리만 역학'을 구축하는 데 성공하면 물리적 세계에 대한 우리의 이해 방식에 커다란 변화가 생긴다고 하는 현실 세계에 대한 직접적인 응용이 아니라 주어진 문제에 대한 답을 얻고자 하는 노력의 과정, 그것이 성공하든 실패하든 시대를 초월하는 천재의 머릿속에서 어떤 일이 일어났는지를 추적하는 것은 그것을 실제로 수행하는 수학자들과 구경꾼으로 바라보는 우리들 모두에게 커다란 즐거움이 아니겠냐고 이야기한다.

마지막, 저자가 인용한 브리태니커 백과사전에 기재된 '리만'이라는 항목에 실린 조지 크리스털의 글을 전한다.

"수명이 짧아 연구 기간이 얼마 되지 않았고 발표한 논문도 얼마 되지 않지만 지금도 리만이라는 이름은 수학자들 사이에서 일상적인 단어처럼 회자되고 있다. 독창적인 계산법과 심오한 아이디어, 그리고 풍부한 상상력으로 가득한 그의 논문은 수학사의 새로운 지평을 연 대작으로 널리 알려져 있다."

[칼럼니스트 이용준]

매일매일 재미있는 책읽기 '북데일리' www.bookdaily.co.kr

제보 및 보도자료 bookmaster@pimedia.co.kr <저작권자 ⓒ 파이미디어 북데일리>