[AI세계속으로]리만 가설도 도전…AI, 수학·물리학 난제 '척척'

AI 단계적 사고·환각 검증 성과
인간도 증명·탐구 과정 함께해

수학, 물리학 등 각 분야의 난제들이 인공지능(AI)에 의해 풀리고 있다. AI가 단순 연산에서 벗어나 가설을 증명하는 등 인간의 조력자 수준을 넘어선 것이다. 나날이 향상되는 추론 능력을 바탕으로 '리만 가설' 등 세계 7대 난제에도 도전하고 있다.

오픈 AI. 로이터·연합뉴스

AI, 80년 묵은 기하학 난제에 "학계 정설 틀렸다"

30일 정보통신기술(ICT) 업계에 따르면 최근 오픈AI는 80년간 해결되지 못한 기하학 분야 추측을 반증하는 데 성공했다. 헝가리 출신 수학자 폴 에르되시가 1946년 제시한 '평면 단위 거리 문제'에 대한 수학계의 기존 추측을 반증한 것으로, 무려 125페이지짜리 '사고의 사슬(CoT)' 증명을 자율적으로 뽑아냈다.

이 문제는 '평면 위에 n개의 점을 찍을 때 서로 같은 거리(단위)에 있는 점들의 쌍을 최대 몇 개(ν(n)) 만들 수 있는가'를 묻는 이산 기하학의 난제였다. 예컨대 9개의 점을 찍을 경우 일렬로 늘어놓으면 1㎝ 간격인 점들이 8쌍 나오지만, 정사각형 단위의 3×3 격자 형태로 배치하면 최대 12쌍을 만들 수 있다.

에르되시는 양의 정수 n이 충분히 커질 경우 ν(n)이 n의 1차 함수보다 아주 약간만 더 빠르게 증가할 것이라고 추측했다. 각 점을 정사각형 단위의 격자 형태로 배치하는 것이 최적의 해답이라고 봤다. 수학계는 이 추측을 증명 또는 반증하려 노력했으나 80년간 해결하지 못하고 있었다. 이는 에르되시가 생전에 제시한 것으로 알려진 1217건의 문제 중에서도 10대 난제에 포함됐다.

그러다 이달 7일께 오픈AI 소속 수학자들이 거대언어모델(LLM)에 질문을 던지면서 추측에 대한 검증이 이뤄졌고, 틀렸다는 결론이 나왔다. 오픈AI의 설명에 따르면 AI는 2차원 평면 격자가 아닌 고차원의 복잡한 대칭 격자를 구성한 뒤 이를 2차원으로 투시하는 방식으로 반증에 성공했다.

AI가 내놓은 풀이가 올바른지 확인하는 일은 인간이 했다. 수학자들은 AI의 풀이를 정리하고, 참고문헌 목록을 포함한 총 18쪽의 논문을 제작해 홈페이지에 공개했다. 여기에는 AI에 입력한 20여줄 분량의 프롬프트와 AI가 출력한 풀이 원본도 실렸다. 인간은 후속 연구에도 돌입했다. AI 증명에는 명시되지 않은 상수 δ의 값을 윌 사윈 프린스턴대 교수가 'δ=0.014로 잡으면 된다'고 증명했으며, 곧 연구 결과를 발표할 예정이다.

구글 로고. 로이터·연합뉴스

오류 없는 증명…난제 해결 이어가는 AI

오픈AI는 수학 문제 해결 전용 모델이 아닌 범용 추론 모델을 통해 난제를 풀었다고 설명했다. 오픈AI는 X(옛 트위터)에서 "수학자들은 80여년간 정사각형 격자 모양을 가능한 최고의 해답으로 여겨왔다"며 "오픈AI 모델은 그 믿음을 깨고 더 나은 성능을 내는 새로운 형태의 구성군을 발견했다"고 전했다.

AI의 난제 해결은 2024년 도입된 사고의 사슬 기술과 수학적 오류 검증 프로그램인 '린'의 결합으로 성과를 내고 있다. AI가 사람처럼 단계적으로 깊게 생각하면, 그 과정에서 발생하는 거짓말(환각)을 린이 기계적으로 필터링해준다. 이를 통해 오류가 없는 증명이 탄생한다. 수학뿐 아니라 물리학·생물학에서도 실력을 뽐내고 있다.

지난 2월 구글 딥마인드 '알레테이아'는 에르되시 난제 700개를 검토한 뒤 13개를 해결했다. 이 중 5개는 수학계에서 한 번도 떠올리지 못한 독창적 아이디어였다는 평가를 받는다. 또 4월에는 GPT 5.4 프로가 60년 된 난제인 '원시 집합 추측'을 한 번에 해결했다. 수학 훈련을 받지 않은 23세 아마추어 리엄 프라이스가 AI를 활용해 주목받았다.

이 외에도 구글 딥마인드 '알파폴드'는 생물학에서 50년간 묶여 있었던 단백질 구조 예측 문제를 해결해 질병 치료와 신약 개발에 일조했다. 물리학에서는 '나비에-스토크스 방정식'의 새로운 해를 발견했다. 이 방정식은 기상 예측, 비행기 난기류 등을 설명하는 유체역학의 핵심이다. AI는 기세를 몰아 컴퓨터 공학 관련 'P-NP 문제'는 물론이고, 세계 7대 난제 중 하나인 리만 가설 정복에도 도전하고 있다.

노경조 기자 felizkj@asiae.co.kr