"수학계 노벨상 '필즈상' 2030년 인간·AI 공동 수상할 수도"
인공지능(AI)이 단순 계산을 넘어 새로운 증명 전략을 제시하고 서로 다른 수학 분야를 연결하면서 수학 연구 방식을 근본적으로 바꾸기 시작했다. 수천 년간 인간 수학자만의 영역이었던 엄밀한 수학적 증명에 컴퓨터가 실질적으로 기여하기 시작했다는 평가가 나온다.
국제학술지 네이처는 19일(현지시각) 학계와 AI 기업 연구자들이 AI의 수학적 능력의 한계와 가능성을 검증하기 위해 대규모 연구를 진행 중이라고 보도했다.
대표 사례는 영국의 비전공자 리엄 프라이스다. 아직 대학에 진학하지 않은 프라이스는 잉글랜드 남서부 자택에서 'GPT 5.4 프로'의 도움을 받아 헝가리 수학자 에르되시 팔이 남긴 난제 '에르되시 문제 1196'을 해결했다. 이 문제는 집합 안의 수가 서로 나눠떨어지지 않는 '원시 집합'에서 특정 합의 값이 1을 넘지 않는다는 추측으로 저명한 수학자들도 60년간 풀지 못했다.
기존 연구자들은 에르되시의 1935년 논문 이후 확률론적 접근을 당연한 출발점으로 삼았다. GPT는 그 전제를 따르지 않고 원래 형식 그대로 문제를 풀었다. 테렌스 타오 미국 로스앤젤레스캘리포니아대(UCLA) 교수는 GPT의 풀이가 수와 확률 사이의 연결고리를 암묵적으로 만들어냈다고 평가했다. 수와 확률의 연결이 너무 자연스럽고 매력적인 방향이었기 때문에 오히려 수십 년간 다른 가능성을 가려왔다는 것이다.
GPT·제미나이·클로드 같은 범용 거대언어모델(LLM)은 별도 수학 특화 훈련 없이도 논리적 추론과 증명 생성 능력을 빠르게 키우고 있다. 세바스티앙 뷔벡 오픈AI 연구원은 "1년 전만 해도 LLM이 학습 데이터를 넘어설 수 없다고 봤다"며 "믿기 어려울 정도"라고 말했다. 르엉 탕 구글 딥마인드 초인적 추론 팀장은 "2030년쯤 AI와 수학자가 함께 필즈상을 받을 수도 있다"고 전망했다.
대니얼 리트 캐나다 토론토대 교수는 AI 성과를 둘러싼 과대선전에 비판적 입장을 유지하면서도 AI의 미래 잠재력만큼은 높게 평가했다. 리트 교수는 "AI 시스템의 기존 수학 지식은 이미 초인적 수준이고 강력한 추론 능력도 입증됐으며 피로나 의욕 저하도 없다"며 "오히려 AI가 아직 큰 발견을 못 하고 있다는 사실이 더 의아하다"고 지적했다. 무엇이 인간 수학자를 탁월하게 만드는지, 인간에게만 있는 독창성의 '비밀 재료'가 있는지는 여전히 불분명하다고도 했다.
과제도 분명히 존재한다. 현재 AI 모델은 기껏해야 3~4쪽 분량의 증명만 생성할 수 있다. 구글 내부 모델은 이미 그 이상을 달성하고 있으며 곧 10쪽에 달할 것으로 전망되지만, 100쪽 수준은 아직 요원하다.
AI가 생성한 증명에는 오류가 섞인 경우도 많아 검증 부담도 커지고 있다. 로렌 윌리엄스 미국 하버드대 교수는 "AI가 그럴듯해 보이는 증명을 만들어내지만 오류를 찾는 데 많은 시간이 걸린다"고 지적했다. AI가 쏟아내는 부실한 논문에 수학 학술지 편집자들도 어려움을 호소하고 있다.
해결책 연구도 활발하다. 수학 전용 오픈소스 형식 언어 '린(Lean)'이 주목받는다. 린은 사람이 글로 쓰던 수학 증명을 컴퓨터가 읽고 논리적으로 확인할 수 있는 언어로 변환한다. 증명을 코드 형태로 표현하고 컴퓨터가 모든 논리 단계를 자동으로 검증하는 방식이다.
빈 동 베이징대 교수팀은 대수학 문제 풀이에 린을 적용해 실용성을 입증했다. 스타트업 매스(Math, Inc.)는 2022년 필즈상 수상자 마리나 비아조프스카의 연구를 린으로 형식화하는 데 전용 소프트웨어를 활용했다. 필즈상 수상 연구가 린으로 변환된 첫 사례다.
구글 딥마인드는 검증 모듈을 갖춘 다중 에이전트 AI 시스템 '알레테이아(Aletheia)'를 개발했으며 '알파프루프(AlphaProof)'는 처음부터 린 언어로 증명을 직접 작성하는 방식을 개척했다.
다만 린으로 쓰거나 번역할 수 있는 수학의 범위는 아직 제한적이다. 올해 2월 AI 수학 능력 평가 테스트 '퍼스트 프루프(First Proof)' 시험 가동에서 제출된 풀이 대부분이 수학자가 직접 확인해야 하는 자연어로 작성됐고 린으로 검증된 것은 단 하나에 그쳤다. 오는 6월에는 다양한 AI 시스템을 대상으로 새 문제를 제시하고 풀이를 수동 검증하는 본격 테스트가 진행될 예정이다.
연구자 대부분은 당분간 인간 수학자가 주도권을 유지할 것으로 본다. 마크 셀케 오픈AI 연구원은 "어떤 문제를 연구할지는 판단의 영역으로 당분간은 인간이 결정할 것"이라고 말했다. 하비에르 고메스-세라노 미국 브라운대 교수는 "5년 후 미래를 이제는 감히 상상도 못하겠다"며 "상황이 너무 빠르게 움직이고 있어 무슨 일이든 일어날 수 있다"고 했다.
기계가 인간조차 이해하지 못하는 아이디어를 개발하도록 내버려 두는 것은 무의미하거나 위험할 수 있다는 경고도 나온다. 제러미 아비가드 카네기멜론대 교수는 "수학의 궁극적 목표는 수학적 현상을 이해하는 것"이라며 "AI가 결과만 토해내며 '정리가 참'이라고 말하는 방식은 원하지 않는다. 인간이 반드시 그 과정에 참여해야 한다"고 강조했다.
[조가현 기자 gahyun@donga.com]
Copyright © 동아사이언스. 무단전재 및 재배포 금지.