90년 수학 난제, 88시간 만에 푼 AI…“알파고보다 큰 충격” [팩플]

인공지능(AI) 기업 오픈AI 로고. 로이터=연합뉴스

‘내가 더 멀리 봤다면 거인의 어깨에 올라탄 덕분’이라던 뉴턴의 말처럼 인류는 앞선 연구를 딛고 전진해 왔다. 하지만 이제 그 어깨 위에 선 것은 인간이 아니라 인공지능(AI)이다.

오픈AI가 90년 넘게 풀리지 않았던 수학 난제를 88시간 만에 해결했다고 밝히면서 학계가 충격에 휩싸이고 있다. 10년 전 ‘알파고 쇼크’ 이후 바둑 분야에서 인간과 AI 간 역전이 발생했다면, 이번 난제 해결은 인간 역할과 학문 연구 패러다임의 전환점이 될 것이란 전망이다. 생성 AI가 대중 앞에 모습을 드러내며 사회 전반을 뒤흔든 ‘챗GPT 모먼트’ 이후 불과 4년 동안의 기술 진보가 수천 년 인류의 수학 역사를 넘어섰다는 평가다.

오픈AI는 8일(현지시간) 자사의 미공개 AI 모델이 ‘7대 수학 난제’ 가운데 하나인 ‘나비에–스토크스 방정식의 존재성과 매끄러움 문제’ 해법을 도출했다고 밝혔다. 7대 난제는 2000년 미국 클레이 수학 연구소가 문제당 100만 달러의 해결 상금을 걸고 선정해 ‘밀레니엄 문제’라고도 한다. 지금까지 해결이 인정된 문제는 2002년 러시아 수학자 그리고리 페렐만이 증명한 ‘푸앵카레 추측’ 뿐이었다.

오픈AI에 따르면 이번 난제 해결 연구는 이달 1일 시작해 약 88시간이 지난 5일 해법에 도달했다. 약 1만 개의 AI 에이전트가 서로 소통하며 문제를 풀었고, 이 과정에서 수백만 달러 규모 컴퓨팅 자원을 소비했다. 연구에 사용된 모델은 지난 3일 공개된 ‘GPT-6 아스트라’보다 성능이 더 좋은 모델이다.

김영희 디자이너

나비에–스토크스 방정식은 19세기 클로드 루이 나비에와 조지 가브리엘 스토크스의 연구에서 탄생한 것으로, 물과 공기 같은 유체가 어느 방향으로 어떻게 움직이는지를 설명하는 식이다. 기상 예측 등에 활용된다. 1934년 프랑스 수학자 장 르레는 이 방정식에서 일반적 의미의 해(解)가 존재한다는 것을 증명했다. 하지만 처음에 매끄럽던 해가 시간이 지나도 매끄럽게 유지되는지는 풀리지 않은 문제로 남아 있었다. 오픈AI는 매끄러운 유체의 속도가 일정 시간이 지나도 계속해서 치솟는 상황이 수학적으로 가능하다는 것을 증명했다. 회사 측은 “우리는 이제 AI 발전의 다음 단계에 접어들었다고 믿는다”고 밝혔다.

발표 직후 학계에선 학문으로서의 수학이 ‘알파고 등장 이후 바둑’의 길을 따르게 되는 것 아닌가 하는 우려가 제기되고 있다. AI에 바둑을 가르쳤던 기사들이 좁힐 수 없는 실력 격차에 이젠 AI의 기보를 연구하게 된 일이, 수학 등 학문 분야에서도 벌어지게 될 것이란 우려다. 인간 고유의 영역으로 여겨져 왔던 창의적 학문 활동 분야에서마저 AI에 뒤처지게 되는 상황이다.

최규동 울산과학기술원(UNIST) 수리과학과 교수는 “도무지 풀리지 않을 것이라 생각했던 문제라 알파고 때보다 충격이 더 크다”며 “약 10년 전부터 ‘이렇게 하면 해결될 수도 있다’는 얘기만 어느 정도 알려져 있었고, 최근 2~3년간 수학자들이 AI 모델로 여러 가능성을 타진하던 중이었다”고 했다. 이어 “이번 결과는 기존 수학자들이 오랜 기간 쌓아온 성과 위에서 나왔지만, 앞으로 학문적 공로를 인간 연구자와 AI에 어떻게 배분할지도 중요한 문제가 될 것”이라며 “학계에선 ‘앞으로 공개될 논문은 기본적으로 사람이 다 했다고 보기 어렵다’는 의견도 나온다”고 했다.

긍정적 반응도 있다. 이준상 연세대 기계공학부 교수는 “AI가 계산 보조를 넘어 인간이 풀지 못한 수학적 난제의 증명을 탐색하고 형식적으로 검토하는 새로운 연구 도구로 발전할 가능성을 보여준 사례”라며 “최종적인 타당성과 학문적 의미는 전문가들의 검증이 필요하다”고 평가했다.

다만 완전한 학문적 성과로 인정받기 위해선 시간이 더 걸릴 전망이다. 미국 학계에선 오픈AI가 학계 연구자의 연구 진척을 가로챘다는 의혹도 불거진 상태다. 오픈AI 발표 당일 트리스탄 벅마스터 뉴욕대 교수는 자신이 앤트로픽 소속 연구원과 함께 이 문제를 해결하던 중이었고, 오픈AI가 자신들의 미공개 연구를 활용했다고 주장했다. 벅마스터 교수는 성명에서 “우리의 접근법을 연구하는 다른 사람은 거의 없었다”며 “모델에 문제를 입력하고 며칠 만에 쉽게 찾아낼 만한 방향이 아니다”라고 밝혔다.

오픈AI의 풀이가 완전한 학문적 성과로 인정받기 위해선 결국 인간 수학자가 직접 검증하는 과정도 필요하다. 심지어 이 과정에서 AI의 도움으로 수학적 정리를 기계 검증하는 ‘린(Lean)’ 인증을 거치기도 한다.

일각에선 향후 수학의 지평을 넓힌 학자에게 수여하는 ‘수학계의 노벨상’ 필즈상 등이 사라질 수 있다는 전망도 있다. 최규동 교수는 “좋은 논문이 나와도 ‘인간이 한 게 아니지 않을까’ 하는 시선이 있을 수 있다”고 했다. 필즈상 수상자 테렌스 타오 미국 UCLA 교수는 이날 소셜 미디어에 “새로운 기법이나 기술이 등장하는 등 연구 환경이 나아지면 문제를 풀기 쉬워지지만, 어떤 문제에 새로운 발견 가능성이 숨어 있는지도 보기 어려워진다”고 했다. 그는 “AI는 이미 수학의 여러 분야에서 문제를 쉽게 풀어내 그 안에서 유망한 연구 주제를 가려내기 어렵게 만들었다”며 “기술이 워낙 빠르게 발전하는 데다, AI 기업들이 답을 찾아가는 과정을 공개하지 않는 탓도 크다”고 지적했다.

임성빈·장윤서 기자 im.soungbin@joongang.co.kr