계산, 증명, 인간적인 수학 [김민형의 여담]

구글 인공지능 ‘제미나이 딥싱크’가 국제수학올림피아드에서 제출한 답안의 일부. 연합뉴스

김민형 | 영국 에든버러 국제수리과학연구소장

과학사학자 로레인 대스턴의 최근 저서 ‘규율’에 다음 문구가 나온다. ‘18세기와 19세기 초의 수학사에는 레온하르트 오일러, 카를 프리드리히 가우스, 앙드레마리 앙페르를 비롯해 계산의 신동으로 출발하여 후에 유명한 수학자가 된 인물이 여럿 있었다. 그들의 놀라운 암산 능력에 관한 일화들은 어린 시절부터 드러난 수학적 천재성의 징후로 회자되었다. 그러나 19세기 말에서 20세기 초에 이르러, 심리학자와 수학자들은 이러한 사례들이 예외적인 것이라고 생각하게 되었다. 위대한 수학자들이 계산을 잘하는 것은 드물고, 계산의 명수들 또한 위대한 수학자가 되는 일은 더욱 드물었다고 믿게 됐다.’

그러고 보면 수학자들이 스스로 계산을 못 한다고 주장하는 유행은 꽤 오래된 것 같다. 물론 대부분 경우에 현실성 없는 말이다. 수를 가지고 심도 있는 계산을 자주 하는 수학자가 흔치 않으면서도 일반인보다는 대체로 계산 실력이 뛰어나고, 정말 단순한 계산에도 자신 없는 수학자는 찾기 힘들다. 그런데도 그런 주장이 나오게 되는 동기는 아마도 계산 능력이 평가 절하되는 지식문화와 관계 깊을 것이다. 지금은 수학자나 교육학자 모두 계산 실력을 암기력과 함께 괄시하는 경향이 강하다. 물론 일관성 있는 경향은 아니어서 ‘기초실력 저하’에 대한 영원한 담론에서 계산 능력이 거론되지 않는 일은 거의 없다. 그런데도 수학자들 자신이 ‘진정한 수학은 계산과 거리가 멀다’는 인식을 퍼트리기 좋아한다. 수학의 본질은 엄밀한 사고와 깊은 구조의 탐구라는 주장을 나 자신도 몇번 했다.

이런 풍조를 계산기의 발전과 연결하는 이론도 흔하다. 계산을 기계가 점점 잘하게 되면서 ‘기계적인’ 능력은 평가 절하되고 계산기가 흉내 낼 수 없는 인간적인 능력, 특히 ‘고등한 사고’와 ‘창의성’에 관심이 집중됐다는 것이다. 대스턴이 거론한 것과 거의 같은 시기에 미술에서 추상적인 기법이 부상한 역사에 대해서도 가끔 비슷한 이론이 나온다. 사진기의 보급으로 사실적인 그림에 대한 수요가 줄어들면서 인간 특유의 능력에 대한 숙고에 기반한 ‘개념적’인 그림이 나왔다는 것이다. 결국 ‘인간성이 무엇인가’의 담론에서 기계와 인간의 능력을 구별하고자 하는 본능은 수학과 예술에서 비슷하게 작용하는 것도 같다. (그리고 예술가들 사이에서도 ‘요새 학생’들은 그림 실력이 부족하다는 불평이 잦다.)

그러나 계산기의 보급만으로 계산능력의 평가 절하를 설명하기는 어렵다. 이 추세가 진정 19세기 말에 시작됐다면 그때 일반 학자가 접할 만한 계산기가 18세기와 크게 달랐을지도 의문이다. 한가지 분명한 것은 19세기를 거치면서 일부 수학자들 사이에서 수학의 이론적인 측면, 특히 증명의 중요성이 강조됐다는 사실이다. 17세기의 아이작 뉴턴이나 18세기의 오일러와 달리 19세기의 오귀스탱 루이 코시, 카를 바이어슈트라우스 등 뛰어난 수학자들은 엄밀한 증명 체계에 많은 에너지를 투여했다. 증명에 그렇게까지 집착하게 된 역사를 파악하기 쉽지는 않지만, 적어도 20세기 초에 이르러서는 다비드 힐베르트 같은 영향력 있는 인물이 수학 전체를 일종의 완벽한 증명 시스템으로 구축하려는 철학을 제시하게 됐다.

근래는 인공지능 때문에 ‘인간의 수학적 능력’을 또 다른 방향으로 재평가하는 분위기이다. 인공 지능이 수학적 증명을 해내고 있기 때문이다. 구글과 오픈 에이아이의 각종 시스템이 국제 수학 올림피아드에서 높은 성적을 받기도 하고 유명 수학자의 연구를 보조하는 등 적어도 탁월한 대학생 수준의 증명은 기계도 할 수 있다는 인식이 널리 퍼지는 중이다. 그 때문인지 요새 들어서 증명이 진정한 수학적 창의성의 표현인가 의문을 제기하는 수학자도 점점 많아지는 추세다.

계산, 증명, 이론의 개발, 정의, 응용, 실험, 이들 외에도 헤아릴 수 없이 많은 요소의 복잡다단한 배합으로 수학은 인간사고의 초기로부터 진화해 왔다. 그 과정에서 주판, 아스트롤라베(고대 천체 관측 도구), 20세기 컴퓨터에 이르기까지 인간은 계속 수학의 탐구에 실로 놀라운 성능의 기계들을 사용해왔고, 앞으로도 인공지능 기반 기계가 널리 수학 연구에 기여할 것은 거의 분명하다. 수학적 사고 체계를 이루는 여러 요소 중 어느 부분이 특히 인간적이고 창의적인가. 어떤 수학이 ‘진정한 수학’인가. 이런 질문에 뚜렷한 답을 주려는 시도 자체가 수학의 다양한 창의성을 때로는 해친다는 느낌이다.