50년 수학 난제 15분 만에 푼 AI···1억 현상금 ‘리만 가설’ 정복 나서나
사고의 사슬 탑재해 자율 추론
13억 걸린 리만 가설도 도전
인간과 AI 지적 노동 분업화
인공지능(AI)이 수학계의 오랜 미해결 난제들을 잇달아 증명하며 학계의 패러다임을 바꾸고 있다. 과거 방대한 데이터에서 정답을 찾아내는 수준에 머물렀던 AI가 스스로 추론하고 논리를 전개하는 자율적 연구자로 진화했다. 학계에서는 2026년을 'AI가 수학 난제를 안정적으로 풀기 시작한 원년'으로 평가하며 수학계 최대 난제로 꼽히는 '리만 가설'의 해결 가능성까지 조심스럽게 타진하고 있다.
올해 1월, 필즈상 수상자인 테렌스 타오 캘리포니아대 교수는 자신의 소셜미디어를 통해 약 50년간 미해결 상태였던 '에르되시(Erdős) 문제 728번'을 AI가 자율적으로 해결했다고 발표했다.
에르되시 문제는 20세기 헝가리 천재 수학자 폴 에르되시가 남긴 약 1000개의 미해결 난제를 일컫는다. 이번에 해결된 728번은 (a+b-n)의 계승(팩토리얼)과 n의 계승을 곱한 값이 a의 계승과 b의 계승을 곱한 값으로 나누어떨어질 때, (a+b-n)의 값이 n에 비해 어느 정도 크기인지를 묻는 문제다. AI는 'n과 비교해 압도적으로 작다'는 답을 독자적인 추론을 통해 도출했다.
타오 교수는 "AI가 기존에 알려진 답을 재현한 것이 아니라 아무도 몰랐던 답을 스스로 도출했다"며 "AI의 수학 분야 응용이 새로운 이정표(마일스톤)를 달성했다"고 평가했다.
며칠 뒤, 미국의 다른 연구진은 동일한 에르되시의 '397번 문제'를 '챗GPT 프로 5.2'를 활용해 증명했다고 밝혔다. 해당 증명에 소요된 시간은 불과 15분이었다. 이후 일론 머스크의 xAI가 개발한 '그록(Grok)'이 에르되시 729번과 401번을 풀고 새로운 벨만 방정식의 해를 찾았다는 보고가 이어졌다. 구글의 '제미나이(Gemini)'를 활용해 대수기하학의 새로운 정리를 증명한 라비 바킬 스탠퍼드대 교수는 "내가 직접 떠올렸더라도 자랑스러웠을 수준의 통찰"이라고 밝혔다.
'사고의 사슬(CoT)'과 '린(Lean)'이 만든 비약적 발전
전문가들은 AI 수학 능력 진화의 결정적 계기로 2024년 도입된 '사고의 사슬(CoT, Chain of Thought)' 기술을 꼽는다. 일본 이화학연구소(RIKEN)의 소노다 쇼 연구원은 현지 언론과 인터뷰에서 "CoT 기술 탑재 이후 AI는 인간처럼 단계적으로 생각하고 이전 논리를 기억하며 정확도 높은 결론을 도출하게 됐다"고 분석했다. 실제 AI는 2025년 2월 도쿄대 입시 수학, 9월 수학 올림피아드 문제를 70~90% 수준으로 해결한 데 이어, 불과 몇 달 만에 미해결 난제 영역까지 진입했다.
AI의 치명적 단점인 환각(Hallucination, 거짓 정보를 사실처럼 말하는 현상) 문제는 수학 증명 지원 소프트웨어 '린(Lean)'을 통해 통제되고 있다. 린은 AI가 도출한 증명 과정을 기계어 형태의 '린어(語)'로 변환해 논리적 오류가 없는지 엄밀하게 판정하는 시스템이다. 현재 전 세계 수학자와 컴퓨터 과학자들은 '매스리브(Mathlib)'라는 데이터베이스에 광범위한 수학적 개념을 린어로 형식화해 구축하고 있다.
1억원 현상금 '리만 가설', AI가 풀 수 있을까
학계의 다음 관심사는 150년 넘게 풀리지 않은 클레이 수학연구소의 100만 달러(한화 약 13억원) 현상금이 걸린 '리만 가설'의 해결 여부다. 매스리브에는 이미 리만 가설의 전제와 결론이 린어로 형식화되어 등록된 상태다.
다만 전문가들은 단기간 내 완전한 해결에는 신중한 입장을 보인다. 소노다 연구원은 현지 언론에 "리만 가설이라는 거대한 정점을 증명하기 위해서는 수많은 하위 문제(부품)들을 먼저 증명해야 하므로 방대한 시간이 필요할 수 있다"고 지적했다.
타오 교수 역시 "과거 '4색 정리'처럼 컴퓨터의 압도적 계산력을 활용해 강제 돌파한 사례가 있지만, 리만 가설은 완전히 새로운 형태의 수학 이론이나 서로 무관했던 분야 간의 연결고리가 발견되어야 풀릴 가능성이 높다"며 "인간 최고 지성들이 강력한 AI 도구와 협력하여 풀어나가는 형태가 될 것"이라고 전망했다.
여성경제신문 김현우 기자
hyunoo9372@seoulmedia.co.kr
*여성경제신문 기사는 기자 혹은 외부 필자가 작성 후 AI를 이용해 교정교열하고 문장을 다듬었음을 밝힙니다. 기사에 포함된 이미지 중 AI로 생성한 이미지는 사진 캡션에 밝혀두었습니다.