[송용진의 수학 인문학 산책]AI, 수학문제를 풀다

매년 7월에 열리는 국제수학올림피아드(IMO)에서는 전 세계 약 110개국에서 온 600여명의 수학 천재들이 실력을 겨룬다. 올해는 영국에서 열렸는데 이 대회의 메인 스폰서는 XTX Markets라는 기업이다. 이 회사는 내년에 호주에서 열리는 IMO도 후원하기로 약속했다.

올해 대회에만 200만파운드(약 34억6894만원) 이상을 후원한 이 회사는 알고리즘을 통해 투자하는 금융회사이며 다양한 영역에서 공익적인 사업을 하고 있다. AI를 기반으로 일을 하는 이 회사는 유난히 수학에 관심이 많다. 그래서 올해 이 회사가 주관하는 AI 수학올림피아드(AIMO)라는 대회가 IMO와 함께 열렸다.

AIMO는 AI끼리 겨루는 수학올림피아드로, IMO에 출제되는 문제를 AI들도 참가해서 푸는 대회이다. 문제 수(하루에 3문제, 2일간)도 IMO와 똑같고 시간(하루에 4시간30분)도 같다. 이 회사는 IMO에서 금메달을 수상할 수준의 성적을 거두는 AI에 500만달러(약 66억8900만원)의 상금을 주겠다고 선언했다. 실은 이 회사는 총상금으로 1000만달러(약 133억7100만원)를 내걸었는데 그중 반은 AIMO 대회에 걸었고 나머지 반은 수학문제를 잘 푸는 대중적인 AI 모델을 개발하는 팀에 주겠다고 했다. 이 회사는 챗GPT와 같은 거대언어모델(LLM)을 넘어서 수학적으로 사고하며 수학문제를 풀 수 있는 새로운 AI 모델이 개발되기를 기대하고 있다.

구글 딥마인드의 놀라운 성과

AIMO의 결과는 어땠을까? 이 대회에는 오픈AI, 구글 딥마인드(DeepMind) 등 최고의 AI 회사들이 (익명으로) 참가했는데 구글 딥마인드만이 자신들의 결과를 발표하였다. 결과는 자신들이 개발한 알파프루프(AlphaProof)라는 AI가 IMO의 문제 6개 중에서 4개를 풀었고 이는 IMO의 은메달에 해당한다는 것이었다. 비록 금메달 수준이 아니어서 상금 500만달러는 받지 못했지만 그 정도의 결과도 XTX Markets의 예상을 뛰어넘는 매우 놀라운 것이었고 이것은 뉴욕타임스 등에서 기사화했다.

구글은 몇년 전에 알파고(AlphaGo)라는 바둑 AI로 세상을 놀라게 한 이후, 이것을 개선한 AlphaZero와 기하문제를 푸는 AlphaGeometry 등을 개발한 바 있다. 특히 구글은 후자를 통해 IMO의 기하문제를 금메달 수상 수준으로 풀었다고 발표했는데 그 내용이 올해 초 세계 최고의 과학저널인 네이처에 게재되었다.

그동안 AI는 많은 데이터와 빠른 계산 능력을 갖춘 데다가 알파고가 선보인 딥러닝 기법과 같이 스스로 교육하는 방식을 통해 진화하는 능력을 보여주었다. 게다가 챗GPT가 대표하는 생성형 AI는 이야기, 이미지, 동영상, 음악 등 새로운 콘텐츠와 아이디어를 만들 수 있다. 이 기술은 이미지 인식, 자연어 처리(NLP), 번역과 같은 새로운 영역에서 인간의 지능을 모방하고 있다.

알파프루프는 ‘린(Lean)’이라고 하는 형식언어로 수학적 명제를 풀기 위해 스스로 학습하는 시스템이다. 이 AI가 놀라운 이유는 그동안의 AI는 이 세상에 이미 존재하고 있는 데이터를 조합하거나 자신이 찾은 결과를 개선하는 능력이 좋았을 뿐이지 인간이 수학문제를 풀 때 발휘하는 것과 같은 창의적인 사고나 추상적인 추론(reasoning)은 잘하지 못했기 때문이다.

AIMO에서 알파프루프는 몇가지 약점을 보였다. 우선, IMO 문제 중 4개를 풀었다고는 하지만 기하문제를 제외한 나머지 3개는 푸는 데 사흘이나 더 걸렸다. 그리고 주목해야 할 사실은 ‘자연언어’로 출제된 문제를 AI가 이해할 수 있는 ‘형식언어’로 사람이 일일이 번역해 주었다는 사실이다. 하지만 다행히 추후에 구글 바드(Bard)의 새로운 이름인 제미나이(Gemini) 모델을 잘 다듬어서 자연언어를 형식언어로 바꾸는 데 성공했다고 한다.

‘알파프루프’의 한계는 조합론

알파프루프가 가지고 있는 가장 핵심적인 한계는 IMO에 출제된 조합론 문제 2개는 손도 대지 못했다는 점이다. 그 이유는 그런 문제에 등장하는 새로운 수학적 개념이나 문제가 요구하는 내용을 AI에 입력하는 것부터가 어려웠기 때문이다. 입력하는 사람에게도 어려운 개념은 AI는 이해하지 못한다.

AI가 언젠가 세상의 모든 수학자를 능가할 때가 올 것은 분명하다. 하지만 AI가 개념이 복잡한 수학문제까지 잘 풀기 위해서는 아주 머나먼 험한 길을 가야 한다.

송용진 인하대 수학과 교수

송용진 인하대 수학과 교수