수학계 ‘알파고 모멘트’ 나오나?···90년 넘게 못 풀었던 ‘7대 수학 난제’, 오픈 AI가 88시간 만에 풀었다

오픈AI 창업자 샘 올트먼이 지난 2일 노스캐롤라이나주 채플힐에서 열린 G20 혁신장관회의에서 연설하고 있다. 로이터연합뉴스

오픈AI가 인공지능(AI)을 이용해 수학계 7대 난제인 ‘나비에-스토크스’ 문제의 해법을 찾았다고 발표했다. 물론 아직 수학계의 검증을 거쳐야 하는 단계다. 그럼에도 이번 문제 해결이 공식적인 사실로 인정받을 경우 AI가 현대 수학의 최고난도급 문제를 직접 푼 첫 사례로 수학계의 ‘알파고 모멘트’가 될 수 있다는 해석이 나온다. AI가 인간의 지식노동에 깊숙히 침투하면서, 향후 수학 등의 학문 연구에 있어서 AI와 인간의 역할에 어떤 변화가 생길지에 대한 논쟁도 커질 것으로 보인다.

오픈AI는 8일(현지시간) AI가 수학계 대표 난제인 ‘나비에-스토크스 방정식’의 해가 항상 ‘존재’하고 ‘매끄럽게 유지되는지’를 다루는 문제에 대한 해법을 찾았다고 발표했다. 나비에-스토크스 방정식은 물·공기 같은 유체의 흐름을 기술하는 기본 방정식이다.

3차원 유체의 흐름이 처음에는 매끄럽게 시작하더라도 시간이 지나면서 속도가 무한대로 커지는 ‘특이점’이 발생할 수 있는지는 오랫동안 풀리지 않은 난제로 꼽혀왔다. 오픈AI는 특정 조건에서는 이런 특이점이 생길 수 있다는 반례를 제시했다.

풀이에는 오픈AI의 최상위 모델인 ‘아스트라’보다 성능이 높은 미공개 차세대 모델이 동원됐다. 약 1만개의 AI 에이전트를 투입해 첫 가동 후 88시간 만에 해법에 도달했다. 에이전트는 270만개의 메시지를 주고받고 1300억개의 출력 토큰을 사용했다. 이번 연산에는 수백만달러 수준의 컴퓨팅 자원이 투입된 것으로 알려졌다.

AI가 수학 난제를 푼 사례는 이전에도 있었지만 이번 문제는 난도와 상징성이 훨씬 크다. 나비에-스토크스 문제는 2000년 클레이수학연구소가 선정한 7개 ‘밀레니엄 문제’ 가운데 하나로, 90년 넘게 풀리지 않은 난제다.

과학저널 네이처는 이번 발표를 두고 “오픈AI의 주장대로라면 컴퓨터가 진정한 의미의 초대형 미해결 문제를 푼 첫 사례”라고 평가했다. 미국 과학매체 사이언티픽 아메리칸도 “지난 20년 혹은 그 이상의 기간을 통틀어 수학계에서 가장 큰 날이 될 수도 있다”고 했다. 다만 이번 풀이가 공식적으로 인정받으려면 2년 이상 수학자들의 검증을 거쳐야 한다.

나비에-스토크스 방정식이 설명하는 3차원 유체의 소용돌이 운동. 유체가 중심으로 말려 들어가며 축 방향으로 늘어나면서 회전이 강해지는 모습을 나타냈다. 오픈AI 홈페이지 갈무리.

데이터 활용 논란도···“검증·가치판단은 인간 영역”

연구 공로와 데이터 활용을 둘러싼 논란도 불거졌다. 뉴욕대 수학자 트리스탄 벅마스터와 앤트로픽의 레벤트 알푀게가 비슷한 접근 방식으로 먼저 연구를 진행하고 있었는데, 오픈AI가 이들의 진척을 파악한 뒤 대규모 자원을 투입했다는 주장이다. 벅마스터 연구진은 오픈AI 모델인 코덱스도 연구에 사용한 것으로 알려졌다. 오픈AI는 사용자 데이터를 이번 증명에 직접 활용하지 않았다고 반박했지만, 비식별화된 데이터가 모델 개선에 영향을 줬을 가능성은 배제하지 않아 향후연구 성과를 놓고 논란이 이어질 수 있다.

AI가 수학 연구 자체를 어떻게 바꿀지를 두고도 전망이 엇갈린다. 오픈AI 연구자 노암 브라운은 이날 SNS에 “오픈AI의 많은 수학자들이 이번 성과로 이세돌 모멘트(Lee Sedol moment)를 경험했다”며 “1년 뒤에는 누구나 이런 수준의 문제를 풀 수 있는 AI를 손에 쥐게 될 것”이라고 했다. 알파고 이후 바둑기사들의 실력이 상향평준화된 것처럼 AI가 인간의 수학 능력을 증강시킬 것이라는 주장이다. 반면 토론토대 수학자 대니얼 리트는 지난달 오픈AI가 주최한 수학자 회의에서 “(AI 발전으로) 고품질의 수학 연구가 사라지고, 인간의 수학적 전문성이 완전히 소실되는 세계가 올 가능성이 있다”며 AI가 인간의 영역을 대체할 것이라는 비관적인 전망을 내놨다.

임성빈 고려대 통계학과 교수는 “오픈AI 발표가 검증을 통과한다면 수학적으로 파급력이 매우 크고, 향후 다른 난제도 AI로 풀 가능성을 엿본 사건”이라며 “사람이 오랫동안 쌓아놓은 성과 위에 이뤄진 것이고, 검증도 사람이 해야 한다”이라고 했다. 이어 “주니어 연구자들 사이에서 (AI에 대한) 우려가 있지만, AI가 해답을 내놓더라도 그 의미를 부여하고 학문·산업으로 연결하는 것은 인간 전문가가 해야 할 일”고 말했다.

김세훈 기자 ksh3712@kyunghyang.com