'수학계 노벨상' 수상자가 상금까지 건 30년 기하학 난제 해결

수학 이미지. 게티이미지뱅크 제공

아벨상 수상자가 본인이 추측을 제기하고 풀지 못해 상금까지 걸었던 30년 묵은 기하학 난제가 마침내 세 수학자의 손에 의해 증명됐다.

19일 미국 과학전문매체 '사이언티픽 아메리칸'에 따르면 2024년 아벨상 수상자인 미셸 탈라그랑 프랑스 소르본대 및 국립과학연구센터(CNRS) 교수가 1995년 제안한 '볼록성 추측(convexity conjecture)'이 최근 세 수학자에 의해 증명됐다. 연구 결과는 지난 5월 11일 논문사전공개사이트 '아카이브(arXiv)'에 공개됐다. 

볼록성 추측은 차원이 수십억 개로 늘어나도 흩어진 점들을 빠짐없이 포함하는 볼록 도형을 일정한 방법으로 항상 만들 수 있다는 내용이다. 볼록 도형은 원이나 오각형처럼 중·고등학교에서 배우는 평면 도형을 떠올리면 된다. 반대로 화살촉처럼 뾰족하게 파인 모양은 오목 도형이라고 한다. 단순해 보이는 개념이지만 차원이 수십억 개로 늘어나면 문제는 전혀 달라진다.

탈라그랑 교수는 이 추측의 반례를 찾는 사람과 관련 난제를 해결하는 사람 모두에게 2000달러 상금을 내걸었다. 하지만 수십 년간 아무도 상금을 가져가지 못했다. 탈라그랑 교수 스스로도 "이 추측이 사실일 리 없다고 생각하고 있었다"고 밝혔다.

돌파구는 지난해 여름 나왔다. 앙투안 송 미국 캘리포니아공과대 교수가 이 문제를 확률론의 언어로 변환하는 방법을 찾아낸 것이다. 기존 기하학 도구로는 수십 년간 접근조차 하지 못했던 문제를 통계적 규칙에 따라 임의의 점을 선택하는 확률론의 문제로 바꿔 쓴 것이다. 확률론에는 기하학에 없는 분석 도구가 있어 전혀 새로운 방향에서 접근할 가능성이 열렸다. 

송 교수는 지난해 12월 프린스턴대 강연에서 이 성과를 공개했고 수학계는 완전한 증명이 곧 나올 것이라 기대했다. 

하지만 송 교수는 증명을 완성하는 데 필요한 수학적 개념 중 일부가 자신의 전문 분야 밖이었다. 확률론으로 문제를 변환하는 데는 성공했지만 그다음 단계를 마무리하려면 평소 다뤄본 적 없는 수학적 도구가 필요했다. 

송 교수의 지도학생인 동명 화는 막힌 부분을 해결하기 위해 챗GPT 5.5 프로의 도움을 받았고 몇 차례의 대화 끝에 필요한 명제의 증명을 얻었다.

한편 스테판 투도세 프린스턴대 박사과정생은 송 교수의 프린스턴대 강연 이후 해당 수학적 개념을 독자적으로 연구해 별도의 증명을 완성했다. 라몬 반 한델 프린스턴대 부교수의 소개로 두 팀이 연결되면서 최종 증명이 마무리됐다.

두 증명을 비교한 결과 투도세 박사과정생의 접근법이 더 일반적이고 개념적으로 완성도가 높다는 판단에 따라 최종 논문에는 투도세의 증명이 채택됐다. 챗GPT가 제시한 증명은 논문 부록에 별도로 수록됐다.

연구 소식을 들은 탈라그랑 교수는 "내 평생 가장 놀라운 결과"라며 "딱 맞는 단어는 '경이롭다'라는 말뿐"이라고 소감을 밝혔다. 

<참고자료>
arxiv.org/pdf/2605.10908

[조가현 기자 gahyun@donga.com]