[송용진의 수학 인문학 산책]AI의 수학 정복

최근에 오픈AI가 출시한 인공지능(AI) 모델인 챗GPT-o1은 그 이전 모델인 챗GPT-4o에 비해 수학과 언어에 대한 이해에서 더 뛰어난 능력을 보여주고 있다. 이 모델은 그 전 모델과 달리 스스로 사고하는 능력을 갖추고 있다. 이전 모델들은 수학 문제가 주어졌을 때 어딘가에 그것과 유사한 문제가 있거나, 기하 문제와 같이 어떤 패턴이 있을 경우에만 풀 수 있었던 반면에 이 새로운 모델은 어느 정도는 스스로 생각하며 문제를 풀 수 있다.

얼마 전까지만 해도 수학적 사고를 할 수 있는 AI의 개발에는 구글의 딥마인드가 오픈AI보다 한발 앞서 있었다. 구글의 알파프루프(AlphaProof)는 지난 7월 국제수학올림피아드(IMO)와 동시에 거행된 AI수학올림피아드(AIMO)에서 가장 우수한 성적을 거두었다. 그러나 이후 불과 두 달 만에 나온 챗GPT-o1은 알파프루프보다 수행 능력이 더 앞서는 것으로 알려져 있다.

지난번 본 칼럼에서 AI가 수학을 완전히 정복하는 날이 언젠가는 오겠지만 그날은 일반적인 예상보다 더 늦게 올 가능성이 높다고 썼는데 이에 대해 사회관계망서비스(SNS)에서 여러 이야기가 오고 갔다. “그동안 AI가 사람들의 예상을 뛰어넘는 발전상을 보여왔고, 수학은 순수한 논리적인 과정을 따르는 데다가 분명한 답이 있기 때문에 AI가 접근하기가 비교적 쉬울 것 같다”는 사람이 아직도 제법 많다.

학습하는 수학과 탐구하는 수학

수학에는 두 종류가 있다. 하나는 ‘학습하는 수학’으로 고등학생, 대학생 그리고 심지어는 수학 전공 대학원생 등 주로 학생들이 익히고 문제를 푸는 수학을 말한다. 다른 말로는 배우는 자들의 수학이라고 할 수 있다. 또 하나의 수학은 ‘탐구하는 수학’으로 수학자들이 탐구하는 수학을 말한다. 내가 AI가 정복하기는 어려울 것이라고 한 수학은 바로 후자이다.

수학에는 100개가 넘는 분야가 있다. 그중에는 AI가 접근하기에 비교적 쉬운 분야도 있고 어려운 분야도 있을 것이다. 어려운 분야는 추상적인 수학 개념이 많이 등장하는 영역일 확률이 높다. 나의 전공인 대수적 위상수학(algebraic topology)은 어려운 개념들에 대한 이해가 많이 요구되는 대표적인 분야인데, 관련 논문에 나오는 개념들을 이해하기 위해서는 대학원 입학 후에도 다년간의 학습과 경험이 필요하다. 그러한 과정 없이는 수학 논문에서 풀겠다고 하는 문제 자체가 무슨 뜻인지 이해하기 어려운 경우도 많다.

수학자들이 사용하는 개념이나 정리들은 어떤 문서에 정확하게 서술되어 있지 않은 경우가 많다. 개념이나 정리 자체가 추상적이고 모호한 것도 많다. AI는 계산을 하거나 기존 데이터를 찾아내거나 스스로 사고를 하는 등의 프로세싱 능력은 빠른 속도로 개선될 수 있겠지만 수만개의 복잡하고 추상적이고 불분명한 개념들을 장착하고 그것을 활용하는 데는 약할 수밖에 없다.

세계적인 젊은 수학자인 옛 제자가 지난번 칼럼에 대하여 다음과 같은 댓글을 SNS에 올렸다. “교수님께서 칼럼에 말씀하신 대로 수학자는 문제를 풀기도 하지만 문제를 던지기도 하며, 다른 이들에게 다양한 종류의 감동을 주기도 합니다. 저자의 고뇌와 인내, 그리고 깨달음을 얻었을 때의 환희가 느껴지는 논문도 많습니다. AI가 수학자들을 능가하는 것은 수학자들이 만들어놓은 수리 언어 체계를 이해할 수 있어야 가능할 것입니다. 오늘 오전에도 어떤 연구원과 토의하는데 그분이 사용하는 용어의 정의가 제가 그 용어를 통해서 전달하려는 의미와 달라서 서로 이해하는 데 조금 시간이 걸렸습니다. 그분이 사용한 용어는 예전의 개념이고 요즘에는 그 개념이 조금 달라졌기 때문입니다.”

관건은 문제해결력이 아니라 이해력

수학은 수천년 동안 발전해오면서 수많은 개념과 지식을 생산해왔다. 미적분학이 발견된 지도 350년이나 되었고, 이후 수학적 지식은 폭발적으로 증가하였다. 지금은 세계 최고의 수학자도 수학 지식 전체의 1%도 알지 못한다. 그런데 정작 AI가 겪는 어려움은 너무 많은 수학 지식의 양에 있지 않다. 진정한 어려움은 여러 추상적인 수학 개념의 복잡성과 불명확성에 있다. AI가 수학 정복을 하는 데 관건은 우수한 프로세싱 능력을 통하여 어려운 수학 문제를 잘 푸는 것이 아니다. 수학자들이 만들어낸 수학 문제들이 묻는 바를 이해하는 것과 그 문제들의 해결이 무엇을 시사하는지를 이해하는 것이다.

송용진 인하대 수학과 교수

송용진 인하대 수학과 교수