[박건형의 닥터 사이언스] AI를 이긴 할머니 수학자와 소녀의 협업

라마누잔 이후 106년 만에 재현된 석학과 수학자 지망생 만남
AI 활용 연구팀 앞서 난제 풀어… 질문하는 능력의 가치 보여줘

일러스트=이철원

1913년 영국 케임브리지대 수학자 고드프리 하디에게 편지 한 통이 도착한다. 발신인은 인도 마드라스 항만청에서 일하는 스물다섯 살 사무원. 편지에는 그가 독학으로 발견했다는 수학 정리 120여 개가 빼곡히 적혀 있었다. 장난이라 여기며 몇 줄 읽어 내려가던 하디는 누구도 이런 걸 상상만으로 꾸며낼 수 없다는 것을 깨달았다. 하디는 그를 케임브리지로 불렀고 두 사람의 전설적인 협업이 시작됐다.

하디는 수학적 재능에 점수를 매기며 자신은 25점, 당대 최고 수학자 힐베르트에게는 80점을 줬지만 이 청년 스리니바사 라마누잔에게는 100점 만점을 줬다. 불과 서른두 살의 나이로 세상을 떠난 라마누잔은 현대 수학에 가장 큰 영향을 미친 인물로 꼽힌다. 라마누잔이 남긴 4000개에 가까운 공식은 100년에 걸친 검증 끝에 거의 대부분이 참으로 밝혀졌고, 그의 추측 중 하나를 증명한 피에르 들리뉴는 필즈상을 받았다. 죽기 직전 적었던 함수 17개는 오늘날 블랙홀의 에너지를 계산하는 데 쓰인다.

라마누잔의 편지로부터 100년이 넘게 지난 2019년, 컬럼비아대에서 은퇴한 아흔두 살의 수학자 조앤 버먼은 뉴욕의 아파트에서 이메일 한 통을 받았다. 수학을 배우고 싶다는 어느 고등학생의 요청이었다. 숙제를 도와달라는 흔한 메일과 달리 진정성을 느낀 버먼은 학생을 만나기로 했다. 2년 전 인도에서 건너온 열다섯 살 여학생 바수다 바라트람은 놀랍도록 창의적이었고, 문제풀이 방식도 독특했다.

코로나 팬데믹으로 세상이 멈추자 수업은 화상으로 계속됐고, 버먼이 길에서 쓰러져 심장 박동기를 삽입하는 수술을 받는 상황에서도 멈추지 않았다. 두 사람은 어느 순간부터 버먼이 평생 매달리다 포기한 난제에 함께 도전하기 시작했다. 1930년대 독일 수학자 베르너 브라우가 제기한 위상수학 수수께끼였다. 단순하게 설명하면 이렇다. 실을 엮어 내린 상태인 ‘땋임’은 행렬 같은 숫자표 형태로 바꿀 수 있다. 그렇다면 서로 다른 땋임을 표현한 숫자표는 모두 다른가, 아니면 우연히 겹칠 수 있는가. 지난 90년간 수많은 수학자가 매달린 끝에 실의 가닥 수가 3개 이하면 숫자표가 모두 다르고, 5개 이상이면 겹칠 수 있다는 것이 증명됐다. 오직 4가닥만이 미지의 영역으로 남아 있었다. 버먼의 마지막 제자 타라 브렌들 글래스고대 교수까지 연구에 합류한 끝에 세 사람은 지난 7월 논문 사전 공개 사이트 아카이브에 결론을 올렸다. 4가닥 역시 숫자표가 모두 다르다는 것이다. 버먼은 뉴욕타임스에 “인생 최고의 성과”라고 했다. 문제를 푸는 동안 버먼은 아흔아홉이 됐고, 바라트람은 프린스턴대 수학과 대학원에 진학했다.

사이언티픽 아메리칸에 따르면 에마뉘엘 브뢰야르 옥스퍼드대 교수 등 여러 연구팀이 이 문제를 풀기 위해 20년 넘게 매달려 왔다. 특히 이들은 올 초부터 각종 인공지능(AI)을 연구에 활용했다. 하지만 헛수고였다. AI가 사람이 잘못 설정한 전제와 문제풀이 방향을 의심 없이 활용했기 때문이다. 제대로 된 질문을 넣지 않으니 막다른 골목으로 가는 일을 반복했다는 것이다. 반면 버먼과 바라트람, 브렌들은 지금까지의 모든 연구가 틀렸을 수 있다고 보고 다양한 질문을 던지며 고민한 끝에 새로운 길을 찾아냈다. 브뢰야르 교수는 “사람이 먼저 이 문제를 풀어낸 것은 축복”이라고 했다. 브뢰야르가 쓴 ‘축복’이라는 표현에는 수학계의 위기감이 드러난다. 하루가 멀다 하고 AI가 수학 난제를 풀어냈다는 소식이 들려온다. 최근에는 AI가 밀레니엄 난제 가운데 하나인 나비에-스토크스 방정식을 풀었다는 주장도 나왔다. 이런 상황에서 할머니 수학자와 청년이 ‘질문하고 의심하는 사람의 본질’이 AI 시대에도 여전히 경쟁력이 있다는 것을 보여준 셈이다.

하디는 라마누잔이 편지를 보낸 세 번째 사람이었다. 먼저 편지를 받고 무시한 두 수학자의 이름은 아무도 기억하지 않는다. 영국 수학을 세계 최고 수준으로 끌어올렸다고 평가받는 하디의 가장 큰 업적이 라마누잔을 발굴한 것이라 해도 과언이 아니다. 버먼 역시 바라트람의 이메일을 무시하지 않았기 때문에 평생의 숙제를 풀 수 있었다. 낯선 편지에서 누군가의 가능성을 읽어내는 능력. 생각해 보면 이런 것이야말로 사람만이 가질 수 있는 장점이 아닐까 싶다.