12년째 이어진 수학계 '초전도체급 스캔들'
일본의 한 천재 수학자가 발표한 수학 증명으로 수학계가 12년째 내분을 겪고 있다. 증명 내용을 이해한 수학자가 거의 없는 데다 그조차 동료 수학자들을 이해시키려는 소통에 나서지 않으면서 소수의 지지자들을 제외하고 수학계의 외면을 받고 있어서다. 수학자들은 "수학적 증명을 검증하는 과정에서 소통은 필수"라고 비판하며 '진정한 수학적 증명이란 무엇인가'에 대해 묵직한 화두를 던지고 있다.
● 여전히 검증 불가
13일 수학계에 따르면 모치즈키 신이치 일본 교토대 수학과 교수의 'ABC 추측‘ 증명에서 오류를 밝히는 논문이 3월 발표된 데 이어 모치즈키 교수도 이에 반박하는 글을 공개하며 논란이 일고 있다.
논란은 시작은 2012년 8월이다. 모치즈키 교수가 세계적인 정수론 난제인 ABC 추측에 대한 약 500쪽 분량의 논문 4편을 논문 공개사이트 '아카이브'에 공개했다. ABC 추측은 1 이외의 공약수가 없는 '서로소' A, B, C가 A+B=C의 관계를 만족할 때 세 수의 소인수의 곱에 0에 가까운 작은 양수를 더한 수는 C보다 언제나 크다는 내용이다.
1985년 영국 수학자 데이비드 매서가 처음 제시했다. ABC 추측을 증명할 경우 가장 유명한 수학 정리인 ‘페르마의 마지막 정리’를 쉽게 증명할 수 있다고 알려져 많은 수학자가 도전했다.
당시 네이처를 비롯한 과학저널이 "모치츠키 교수가 그동안 남긴 성과를 미루어 볼 때 상당한 기대를 걸어도 좋을 것"이라며 떠들썩하게 보도하며 관심이 더욱 쏠렸다. 모치즈키 교수는 고등학교를 2년 만에 마치고 16살에 미국 프린스턴대에 입학했으며 32세에 교토대 교수로 취임한 명망있는 수학자였다.
문제는 그의 논문이 다른 수학자들의 검증을 받지 못했다는 것이다. 어떤 수학자도 이 논문이 맞다, 또는 오류가 없다고 인정하지 않았다. 보통 수학 논문은 발표된 뒤 1, 2년 동안 오류가 없다고 검증이 되면 학계에서 인정받는다. 수학에서 엄밀함과 논리를 중요하게 생각하기 때문에 충분한 검증을 거친다. 모치즈키 교수 논문은 12년이 지난 지금까지도 검증되지 않았다.
검증이 힘든 이유는 분량이 너무 방대하고 내용 또한 난해하기 때문이다. 모치츠키 교수는 공간 이론을 정수론에 적용한 혁신적인 'IUT(Inter-Universal Teichmüller)' 이론을 만들어 ABC 추측을 해결했다고 주장했다. 이규환 미국 코네티컷대 수학과 교수는 "모치츠키 교수의 방법은 '새로운 언어'를 창조한 것과 다름없다"면서 "하지만 그 언어를 완전히 이해한 사람이 수학계에 거의 없었다"고 말했다.
급기야 유망한 젊은 수학자들로부터 모치츠키 교수 논문에 오류가 있다는 주장이 제기됐다. 2018년 '수학계 노벨상' 필즈상을 수상한 페터 숄체 독일 본대 교수와 제이콥 스틱스 독일 프랑크푸르트 괴테대 교수가 논문을 발표해 모치츠키 교수 증명의 핵심 부등식에 문제가 있다고 지적한 것이다.
이후 마사키 카사와라 교토대 수리해석연구소 교수, 이반 페센코 중국 웨스트레이크대 교수 등 모치츠키 교수를 지지하는 세력과 반대하는 세력으로 나뉘며 수학계가 혼란에 휩싸였다.
그러던 중 2020년 모치츠키 교수 논문이 교토대 수리해석연구소가 편집하고 당시 모치츠키 교수가 편집위원장이었던 수학 저널 '피림스'(PRIMS)에 갑작스럽게 실렸다. 이를 주도한 일본 수학계를 향해 서구 수학계가 "피림스가 완전 검증까지 시간이 필요한 논문을 실은 건 이해 충돌이 있다고 볼 수밖에 없다"면서 비난했다.
논란이 계속되자 지난해 7월 일본 통신기업 '도완고'가 모치츠키 교수의 증명이 옳다고 증명하거나 반증하는 논문을 발표한 수학자에게 상금 약 100만 달러(13억6000만원)를 주는 대회를 열기도 했다.
● 소통을 거부하는 모치츠키 교수
이같은 논란에도 모치츠키 교수는 자신을 향한 지적에 한결같이 "내 논문을 샅샅이 읽어라'는 식의 방어적인 태도를 취해왔다. 그는 논문 발표 후 일본을 벗어나 타국에서 열리는 학회에 참여해 이론을 발표해달라는 요구에 거부했다. 자신의 이론을 소개하고 설명하는 인터뷰 혹은 토론에도 거의 응하지 않았다.
결국 숄체와 스틱스가 2018년 3월 교토대를 찾아가 모치츠키와 토론을 했을 때도 지적을 받아들이지 않고 "논문을 근본적으로 잘못 이해했다"는 완강한 입장을 고수했다고 전해진다.
올 3월 커티 조쉬 미국 애리조나대 교수가 이들의 논문 내용을 확장해 모치츠키 교수 증명에 반론을 제기하는 논문을 공개하자 며칠 뒤 모치츠키 교수는 자신의 홈페이지에 반박 글을 실었다. "(조쉬의 논문이) 수학적으로 의미가 없다"면서 "ChatGPT와 같은 인공지능 알고리즘이 만들어낸 환각을 연상시킨다"고 했다.
수학계는 ABC 추측 증명을 받아들일 수 없는 이유가 모치츠키 교수의 이같은 태도에 있다고 본다. 나날이 어려워지는 현대 수학에서 소통은 중요하기 때문이다.
김완수 KAIST 수리학과 교수는 "수학계에서 논문을 발표한다고 끝이 아니다"라면서 "학회에서 이론을 동료들에게 설명하고 끊임없이 토론하고, 또 지적을 받으면 수정하기도 하면서 증명을 완성시켜 나간다"고 했다. 페르마의 마지막 정리를 증명한 영국 수학자 앤드루 와일스도 1993년 첫 증명을 발표했지만 오류가 발견돼 다시 증명을 수정한 끝에 2년 뒤에 완벽히 증명했다.
ABC 추측과 관한 논란을 계기로 수학계에 '진정한 수학 증명이란 무엇인가'에 대한 논의가 활발해졌다. 정수론 분야의 권위자인 앤드류 그랜빌 캐나다 몬트리올대 교수는 2018년 '수학적 증명의 본질'을 주제로 논문을 발표했다.
그는 당시 '콴타매거진'에 모치츠키 교수에 대해 언급하며 "수학자가 순수한 생각만으로 위대한 진리에 도달한다고 생각하기 쉽지만 수학자는 타인과 소통하며 단계적으로 배운다"면서 "증명의 핵심은 독자를 설득하는 것"이라고 말했다. 또 "증명은 사회적 계약, 저자와 수학 커뮤니티간의 일종의 상호 합의"라며 "모치츠키 교수처럼 극단적으로 자신만의 방식을 고수해서는 안 된다"고 했다.
이 교수는 "모치츠키 교수가 아무리 어마어마한 업적을 남겼어도 수학은 '언어'이기 때문에 타인이 이해하지 못하고 객관적으로 검증되지 않으면 옳은 수학적 증명이라고 받아들여질 수 없다"고 설명했다. 자신만의 이론 속에서 완벽할지라도 다른 구성원들을 설득하지 못하면 소용없다는 말이다. 현재 수학계에서 거의 '사망 선고'를 받은 모치츠키 교수의 증명은 일본 수학계를 중심으로만 옹호받고 있다.
[이채린 기자 rini113@donga.com]
Copyright © 동아사이언스. 무단전재 및 재배포 금지.