[주말N수학] "찰나의 즐거움을 위한 학문?"…수학의 본질이란

(왼쪽부터)이승재 인천대 수학과 교수, 이은수 서울대 철학과 교수. 수학동아 제공

○ 첫 번째 질문  |   수학이란 한마디로 무엇일까.

Q(인문학자). 그동안 재미있는 수학 이야기를 많이 나눴는데요. 이 시점에서는 수학이란 과연 무엇인지를 이야기해봐야 할 것 같아요. 한마디로 수학이 뭐라고 생각하나요.

A(수학자). "수학자의 입장에서 이런 질문을 참 많이 받는데요. 그럴 때마다 농담처럼 하는 대답이 있어요. ‘수학은 수학자가 하는 일이고 수학자는 수학을 하는 사람이다’. 물론 이렇게 답하면 의문이 해결되지 않아요. 하지만 동시에 뼈가 있는 대답이에요.

수학자가 하는 가장 중요한 일 중 하나가 정의인데 수학자들조차 수학을 한마디로 정의하긴 어려워요. 본질적으로 수학은 하나로 정의하기보다는 사람마다 다른 정의를 내릴 수 있다고 생각해요. 그래서 제가 답을 알려드리기보다 여러분 스스로 질문에 대한 답을 찾는 데 도움이 될 두 가지 질문을 준비했어요. 어떤 게 좋은 수학일까요? 또 어떤 게 수학이 아닐까요?"

Q.(인문학자).  누구나 수학을 접해봤지만 막상 수학이란 무엇인지 깊이 생각해본 적이 없는 것 같아요. 그래서 교수님이 한 질문이 의미가 있다고 생각해요. 이번 기회에 같이 고민해보면 좋겠어요. 그런데 ‘어떤 게 좋은 수학일까요?’라는 질문을 던진 이유가 있나요.

A(수학자). "‘사과가 뭐냐?’는 질문을 예로 들어볼게요. 사과를 ‘어떤 품종의 과일’이라고 설명할 수도 있어요. 하지만 사과를 잘 모르는 사람을 이해시키려면 ‘식감이 아삭아삭하고 맛과 향이 달콤한 과일’이라고 말하는 게 더 효과적이에요. 사과의 정의보다는 본질이 더 중요하지요.

이처럼 우리가 어떤 것을 설명할 때 검색 엔진이나 백과사전에서 찾은 단어의 뜻이 아니라 그 대상이 진정으로 추구하는 성질, 가치를 표현해요. ‘수학이 무엇일까’라는 질문도 결국 수학의 본질을 묻는 거라고 생각해요. 좋은 수학이 무엇인지를 고민해보면 우리가 추구하는 수학의 본질이 무엇인지 감이 잡힐 거예요.

제가 이 자리에서 이건 좋은 수학이고 이건 나쁜 수학이라고 칼같이 대답하기는 어려워요. 다행히 이 질문의 답을 제시한 수학자가 있어요. 2007년 테렌스 타오 미국 캘리포니아대 로스앤젤레스 교수(1975~)는 ‘좋은 수학이란 무엇인가?’라는 글을 '미국 수학 학회 회보'에 기고했어요.

좋은 수학의 21가지 특성을 제안한 테렌스 타오 교수. 수학동아 제공

타오 교수는 좋은 수학의 21가지 특성을 제안해요. ‘문제 해결’ 면에서 좋은 수학, ‘직관’을 주는 좋은 수학, 다른 분야에 ‘활용’할 수 있는 좋은 수학, 기존의 해법과 다른 ‘창의적인’ 수학, 증명하긴 어렵지만 결과가 간단한 ‘아름다운’ 수학 등이 있어요. 심지어 21개 특성 외에도 많은 특성이 있을 수 있다고 여지를 남겼지요. 더불어 좋은 수학이 갖춰야 할 특성은 굉장히 고차원적이고 다양하며 이런 다양성이야말로 수학을 건강하게 유지해주는 힘이라고 설명합니다.

이는 실제로 우리가 수학을 바라보는 관점과 비슷해요. 수학은 문제를 해결하는 학문, 세상을 이해하게 하는 언어, 생각하지 못한 부분을 발견하는 경이로움이기도 해요. 마치 우리가 보는 가시광선 안에 수많은 색이 섞여 있듯 수학은 관점에 따라 다양한 매력을 뽐낼 수 있는 무언가라고 생각해요. 백 명의 사람이 있으면 각자가 생각하는 백 개의 수학이 존재하는 것처럼요."

Q.(인문학자). 그럼 수학이 아닌 것은 무엇이 있을까요.

A(수학자). "수학이 무엇인지 설명하기 어렵다면 수학이 아닌 것부터 하나씩 빼면서 자신이 생각하는 수학의 경계를 생각해볼 수 있어요. 정확한 답이 뭔지 모를 때 답이 아닌 것부터 제거하잖아요. 저도 아직 만족스러운 답을 찾진 못했지만 같이 고민해보길 바라며 이 질문을 던졌어요. 

수학자의 입장에서 만물 수학주의를 주장하는 건 어렵지 않아요. 과학, 예술, 심지어 우리의 행동에도 수학이 있다는 걸 알려줄 수 있어요. 그렇지만 ‘모든 게 곧 수학이다’라고 과격하게 이야기하기는 힘들어요. 피타고라스 화음처럼 음악에서도 수학을 찾을 수 있지만 어딘가에는 온전히 음악의 경계가 있어요. 그 경계가 무엇인지는 사람마다 상황에 따라 달라요. 그러므로 각자 ‘수학이 아닌 게 무엇일까’에 대해 생각해보면서 자기만의 수학적 경계를 만들 수 있지요."

두 번째 질문  |   수학을 아는 데 수학 역사가 필요한가.

Q(수학자). 그동안 우리는 수학의 역사를 통해 수학 개념을 이해했어요. 수학의 역사를 살펴보는 게 ‘수학이란 무엇인가’라는 질문의 답을 찾는 데 도움이 될까요.

A(인문학자). "어떤 학문을 공부하든지 연구자들은 알게 모르게 그 학문의 역사를 공부해요. 수학에서 새로운 이론을 도출하기 위해 선행 연구를 검토하는 것도 곧 역사를 공부하는 것과 같지요. 다만 보통의 수학자가 검토하는 역사는 범위가 비교적 짧고 최근인 것에 비해서 수학사를 연구하는 저는 훨씬 더 오래전의 수학을 들여다봐요.

수학사를 공부하는 것이 왜 중요한지를 크게 수학자와 수학자가 아닌 일반 독자로 나눠서 이야기해볼게요. 오늘날의 수학자에게 과거의 수학자가 하던 주제나 문제가 직접적으로 도움되지 않을 수 있어요. 하지만 만약 전혀 관계가 없어 보이는 두 이론이나 대상 사이의 관계를 통찰해야 한다면 과거 수학자가 어떤 발상의 전환으로 새로운 접근법을 발견했는지 살펴보며 교훈을 얻을 수 있지요.

비단 수학자뿐 아니라 수학에 종사하지 않는 사람에게도 수학사는 좋은 생각의 틀과 재료를 제공해요. 수학을 전문적으로 배우지 않은 사람들은 오늘날 수학계 연구의 최전선을 이해하는 데 상당한 어려움을 겪어요. 하지만 수학사는 비교적 쉽게 이해할 수 있어 수학을 공부하는 즐거움을 얻게 해주지요."

Q(수학자). ‘대중들도 수학의 역사를 통해 수학을 공부하는 즐거움을 맛볼 수 있다’는 말씀이 인상적인데요. 그렇다면 수학의 역사를 재미있게 공부하는 방법이 있을까요.

A(인문학자). "최근에는 여러 대중서나 기사 등 점점 수학의 역사에 관한 읽을거리가 풍성해지고 있어요. 이렇게 풍성한 재료를 맛있게 요리해서 먹는 방법 3가지를 알려드리고 싶어요. 

가장 먼저 수학사를 하나의 이야기로만 읽으시는 분이 많은데 그렇게 하기보다는 그 당시 수학자가 풀었던 문제를 직접 풀어보면서 책을 읽으면 더 재미를 느낄 수 있어요. 가끔 저는 과거 수학자들이 적어놓은 해법을 보기 전에 저라면 어떻게 풀었을지 상상해봐요. 아르키메데스(기원전 3세기경), 아이작 뉴턴(1643~1727) 같은 위대한 수학자와 함께 호흡해보는 거지요.

다음으로는 역사적 순서가 아니라 관심이 있는 주제로 범위를 좁혀서 수학사를 살펴보는 거예요. 예를 들면 에우클레이데스(기원전 4세기경)의 '원론'에 등장하는 평행선 공준에만 초점을 맞춰 보는 거지요. 에우클레이데스가 정의한 것부터 비유클리드 기하학에 이르기까지 여러 학자가 어떤 비판과 새로운 시도를 해왔는지만 살펴봐도 좋은 공부가 됩니다. 

마지막으로 수학사 사료를 볼 때 가급적 그 시대의 기호와 접근 방식으로 공부해보세요. 오래된 문제를 오늘의 기호로 풀어버리면 그 옛날의 수학자들이 이 문제를 어떤 맥락에서 어떻게 고민했는지를 알기 어려워요. 예를 들어 지금의 표기법으로 나타내면 간단한 문제가 그 당시 방법을 이용하면 전혀 간단하지 않을 수 있어요. 굉장히 여러 단계를 거쳐서 복잡하게 해결하지만 이렇게 했을 때 새롭게 배울 수 있는 것도 있지요."

나에게 수학이란. 이승재 인천대 수학과 교수, 이은수 서울대 철학과 교수(왼쪽부터). 수학동아 제공

세 번째 질문  |   나에게 수학이란.

Q(수학자). ‘수학이란 무엇일까’라는 질문으로 연재를 마무리하려는데, 아직 아무도 명확한 답을 안 한 것 같아요. 제가 아까 백 명의 사람이 있으면 백 가지 수학에 답이 있다고 했으니까 저희 두 사람에게는 적어도 두 가지 수학이 있을 텐데요. 마지막으로 각자가 생각하는 수학이란 무엇인지 이야기해볼게요. 교수님에게 수학은 무엇인가요.

A(인문학자). " 저에게 수학이란 헤어진 여자친구처럼 떠나고 싶으나 떠날 수 없는 굴레 같은 거예요. 학부 전공으로 수학을 했을 만큼 수학을 정말 사랑했었어요. 그런데 대학 수학을 하면서 제가 고등학교 때 하던 수학이 전부가 아니라는 걸 느꼈어요. 그때 만약 누군가가 수학이란 이런 거고 수학자들이 하는 일은 이런 거라고 이야기해줬다면 수학 공부를 계속했을 것 같아요.

하지만 저는 아직 수학을 좋아해요. 본업은 과학사, 디지털 인문학으로 바뀌었지만 제게 아직 꿈이 남아 있다면 수학 논문을 한 편 쓰는 거예요. 빈 종이에 증명할 정리를 써놓고 시간을 보내는 건 정말 행복한 일이잖아요. 그래서 수학을 하는 분들 주위를 맴돌면서 ‘어떻게 하면 이분들과 같이 새로운 연구를 해볼 수 있을까’라는 고민도 하지요."

Q(인문학자). 수학을 업으로 삼은 이승재 교수님에게 수학이란 어떤 의미인가요.

 
A(수학자). "먼저 수학자다운 답을 하자면 수학은 규칙을 찾아 일반화와 추상화를 할 수 있고 명제 혹은 현상을 엄밀하게 증명하는 학문이에요. 그렇지만 저에게 수학은 학문 그 이상의 의미가 있어요. 단순히 업이 아닌 제 인생의 일부분이자 어떻게 보면 전부라고도 할 수 있지요.

저에게 수학은 애증인 것 같아요. 당연히 교수님 말씀처럼 문제를 풀 때의 즐거움이 크지만 동시에 참 어렵고 힘들고 골치 아프거든요. 문제가 풀리는 시간보다는 안 풀리는 시간이 더 길어요. 1년 중에서 제가 정말 고민했던 문제들이 풀리는 시간은 몇 분, 몇 초에 불과해요. 짧은 순간을 위해 1, 2년 동안 수많은 고민과 도전, 그리고 좌절을 겪어요.

그렇지만 그 모든 작업이 모여서 하나의 결과를 찾고 증명해내는 쾌감이 진짜 커요. 마치 축구에서 골이 들어가는 순간처럼요. 선수들은 이 한 골을 넣기 위해 끊임없이 뛰어요. 골을 못 넣을 때도 있지만, 어쩌면 그렇기에 한 골, 한 골이 더 달콤하고 소중하지요. 수학도 이 찰나의 즐거움을 위해서 노력하는 학문이라고 생각해요.

또 제가 생각하는 수학은 ‘사람이 하는 이야기’예요. 수학이 단 하나의 참을 추구해야 하는 진리라고 여겨 사람과 전혀 관계없다고 생각하는 분이 많아요. 하지만 수학은 객관적인 동시에 지극히 인간적인 학문이에요. 수학 이론이 만들어지기까지 수많은 수학자의 인생이 녹아들어 있어요. 수학의 결과만큼이나 중요한 건 수학의 소통과 전달이고 그 덕분에 지금 우리도 수학을 배우고, 다음 세대로 또 전할 수 있지요.

제가 어렸을 때 수학에 처음 관심을 갖게 된 것도 수학자의 이야기를 통해서였어요. 이후 학창시절에 만난 수학자 덕분에 수학의 길을 걷게 됐고 그동안 만났던 수많은 수학자 덕분에 재밌게 이 길 위에 계속 서 있을 수 있었어요. 세상 많은 일이 그렇듯 수학도 혼자 하기엔 너무 힘들고 외로운 길이거든요. 수학은 추상적인 대상일지 몰라도 수학을 이루는 것은 이 공동체에 있는 수많은 사람의 이야기라고 생각해요."

※관련기사
수학동아 1월호, [Rethinking] 제12화. 수학의 본질은 무엇인가?

[김진화 기자 evolution@donga.com]