23세 아마추어, AI로 60년 묵은 수학 난제 해결…테렌스 타오 "기존 통념 버려야"

2023년 수학동아와의 인터뷰에서 테렌스 타오 교수. 수학동아 제공

최근 수학 훈련을 받지 않은 23세 아마추어가 인공지능(AI)을 활용해 약 60년 묵은 수학 난제를 풀었다. 수학자가 수십 년간 시도하지 않은 새로운 경로로 문제를 해결한 것이다. 중고등학교 수준 문제를 풀던 AI가 이제 수학을 깊게 연구하는 수학자들이 관심을 갖는 문제에 도전하기 시작했다.

27일(현지시각) 국제학술지 '네이처'에 따르면 2006년 필즈상 수상자이자 현존 최고의 수학자로 꼽히는 테렌스 타오 미국 로스앤젤레스캘리포니아대(UCLA) 교수는 수학계에 벌어지는 일련의 변화를 두고 수학자의 직업 정의가 바뀌고 있다고 분석했다. 타오 교수와의 인터뷰를 통해 AI가 수학자의 직업을 어떻게 변화시키고 있는지 집중 조명했다. 

타오 교수는 오픈AI의 챗GPT, 앤트로픽의 클로드, 구글의 제미나이 등 주요 대형 언어 모델을 직접 활용하며 수학 실험을 이어온 연구자다. 20세기 가장 영향력 있는 인물 중 하나로 평가받는 헝가리 수학자 에르되시 팔이 평생에 걸쳐 제시한 1179개의 미해결 수학 문제들을 AI 역량 테스트에 활용하는 프로젝트에도 기여했다. 

지난달에는 미술사학자인 타냐 클로우덴 영국 런던 코톨드예술대 부교수와 함께 AI가 연구자와 사회 전반에 미치는 함의를 탐구한 에세이 초고를 인터넷에 게시했다. 수학을 사례 연구로 삼은 이 글은 ‘블랙웰 수학철학 동반자’라는 제목으로 곧 출간될 예정이다.

타오 교수는 AI를 워드프로세서나 웹 브라우저 같은 기존 기술과 본질적으로 다른 것으로 봤다. 그는 "수학적 증명이란 무엇인가, 논문이란 무엇인가, 우리 직업의 목적은 무엇인가 같은 근본적인 질문들을 AI가 다시 던지게 만들고 있다"며 "수학자 스스로 이 질문들에 답하지 않으면, 결국 기술 기업의 이해관계나 돈이 되는 방향으로 답이 결정될 것"이라고 경고했다.

 
수학이 AI 기업들의 주요 격전지가 된 이유로는 검증 가능성을 꼽았다. 대부분의 분야에서 AI의 가장 큰 약점은 오류를 확인하기 어렵다는 점이다. 수학에서는 증명의 정확성을 자동으로 검증할 수 있다. AI 기업들이 가장 명확한 성과를 낼 수 있는 분야로 수학을 주목하는 이유다.

실제로 최근 주목할 만한 성과가 나왔다. 수학 훈련을 받지 않은 23세 아마추어 리엄 프라이스가 GPT 5.4 Pro를 활용해 약 60년간 미해결 상태였던 에르되시 추측 중 하나 1196번 문제를 증명하는 데 성공했다. 

이 문제는 집합 안의 수가 서로 나눠떨어지지 않는 '원시 집합'에서 특정 합의 값이 1을 넘지 않는다는 추측으로 저명한 수학자들도 60년간 풀지 못했다. AI는 관련 분야에서는 알려진 공식이지만 이 문제에는 아무도 적용하지 않았던 방식으로 기존 수학자들과 전혀 다른 경로를 택했다.

타오 교수는 "다른 에르되시 문제들과 달리 이 문제에는 여러 수학자들이 집중적으로 연구했음에도 모두가 놓쳤던 비교적 짧은 증명이 존재했다"고 설명했다. AI가 이 분야에서 새로운 풀이 방법을 찾아낸 것으로 보이지만 다른 문제에도 적용할 수 있는지는 아직 평가 중이라고 덧붙였다.

주요 모델들에 대한 평가도 내놨다. 챗GPT는 실수가 적고 엄밀한 수학에 강하지만 글쓰기가 지나치게 기계적이고 제미나이는 시각 자료 생성에 뛰어나지만 출력이 장황하다고 설명했다. 클로드에 대해서는 "설명이 더 명확하고 대화하는 느낌이 든다"며 "더 인간적"이라고 표현했다.

다만 상당 부분은 기본 프롬프트의 차이에서 비롯된 것으로 프롬프트를 조정하면 모델 간 차이를 좁힐 수 있다고 덧붙였다.

직업의 미래에 대해서는 분업의 가능성을 제시했다. AI가 수학자를 대체하는 것이 아니라 인간이 무엇을 증명할지 방향을 잡고 AI가 즉각적인 피드백을 제공하는 협력 구조가 만들어질 것이라는 전망이다. 

그는 "AI 시스템을 거부하고 과거 방식만 고집하는 대학원생은 기회가 줄어들 수 있다"면서도 "전통적인 수학 이해를 갖추면서 새로운 도구를 능숙하게 쓸 줄 아는 사람들은 크게 성장할 수 있다"고 했다.

타오 교수는 현재 AI의 한계도 짚었다. 대화가 끝나면 이전 내용을 기억하지 못하고, 새로운 개념을 스스로 정의하거나 어떤 문제에 도전할지 판단하는 것도 아직 어렵다. 이 영역이 당분간 인간 수학자의 몫으로 남을 것이라고 봤다.

그는 "지성이 무엇인지에 대한 기존 통념을 내려놓아야 한다"며 "인간 중심적 시각이 유일한 관점이 아님을 받아들여야 할 때"라고 말했다.

<참고자료>
erdosproblems.com
doi.org/10.48550/arXiv.2603.26524  
 

[조가현 기자 gahyun@donga.com]