‘평면 위 9개의 점, 최대 쌍은’ 80년 난제 해결한 AI···인간 수학자의 미래는[사이월드]

칠판 앞에 선 연구원의 모습. 오픈AI 엑스 갈무리

평면 위에 9개의 점을 찍었다고 가정해보자. 9개의 점을 일렬로 배열하면 같은 간격으로 놓인 점은 8쌍밖에 나오지 않는다. 그러나 9개의 점을 3×3 정사각 격자 모양으로 배열하면 가로·세로 방향에서 같은 간격에 놓인 점이 12쌍 나온다.

헝가리 출신 수학자 폴 에르되시(1913-1996)는 1946년 ‘격자 형태’가 평면 위에서 한 단위씩 떨어져 있는 점의 최대 쌍을 구할 수 있는 최적 배열이라고 주장했다.

일러스트 | 챗GPT

‘2차원 한계’를 뛰어넘다

80년이 흐른 지난 20일(현지시간) 개발 단계에 있던 인공지능(AI) 모델이 처음으로 평면 단위거리 문제에 대한 반증을 제시했다. 오픈AI는 자사 AI 모델 챗GPT가 기존 격자보다 더 많은 점 쌍을 만들 수 있는 새로운 구조를 제시했다며 “AI가 스스로 중요한 미해결 수학 문제를 해결한 첫 사례”라고 밝혔다.

AI는 평면 격자가 아닌 고차원 구조를 만든 뒤 이를 평면에 투영하는 방식으로 기존 평면 구조에서 구할 수 없었던 새로운 답을 도출했다. AI가 지난해 국제수학올림피아드에서 금메달 수준의 성과를 달성한 데 이어 이산기하학의 오랜 난제에 새로운 해법을 제시하기에 이른 것이다.

영국 과학 주간 뉴사이언티스트는 30일 AI의 ‘에르되시 난제’ 해결이 수학계에 미친 영향과 의미를 집중 조명했다.

이번 발견은 신형 챗GPT 모델의 성능 평가 과정에서 우연히 나왔다. 연구원들은 기존 모델 대비 성능이 얼마나 향상됐는지 확인하기 위해 해당 문제를 입력했다. 오픈AI 연구원이자 컬럼비아대 수학자인 메타브 소니는 월스트리트저널(WSJ)과 인터뷰에서 “처음에는 결과를 믿을 수 없었다”고 말했다. 그러나 외부 전문가들과 결과를 검증하고 내부 코딩 시스템을 활용해 계산 과정을 재확인한 끝에 “믿을 만하고 꽤 놀라운 결과처럼 보였다”고 밝혔다.

인간이 못 푼 난제, AI는 어떻게 풀었을까

연구원들은 인간 연구자들과 달랐던 AI의 접근 방식에 주목했다. 오픈AI 연구원 세바스티안 부벡은 지난 21일 엑스에 “AI는 거의 즉시 격자 구성을 개선하려고 시도했는데, 이는 대부분의 수학자가 지금까지 시도해 온 것과는 정반대였다”고 적었다. 그동안 많은 수학자가 평면이라는 조건 안에서 에르되시의 추론을 증명하는 데 집중한 반면, AI는 반증 가능성을 탐색했다는 것이다. WSJ은 기존 통념을 거스르고 언뜻 불가능해 보이는 전략을 실험하면서 AI가 예상치 못한 해법에 도달했다고 평가했다.

또한 한 분야에 특화된 전문성을 가지는 인간과 달리 AI는 여러 분야의 정보를 한계없이 종합할 수 있었다. 이번 발견 역시 대수적 정수론과 이산기하학을 결합해 이뤄졌다. WSJ은 이를 두고 “마라톤과 장대높이뛰기만큼 거리가 먼 분야의 결합”이라고 표현했다.

오픈AI 연구팀. 왼쪽에서부터 세바스티안 부벡, 메타브 소니, 마크 셀케, 훙쉰 우, 알렉스 웨이, 리제 천. 부벡 엑스 갈무리

AI가 포기와 휴식이 없는 점도 영향을 미쳤다는 평가가 나온다. 오픈AI 연구원이자 하버드대 통계학자인 마크 셀케는 “우리는 (인내가 필요한) 아이디어를 잠깐 시도해 보다가 잘 안 풀리면, 혹시 너무 큰 기대를 했던 건 아닌가 싶어 포기하고 다른 길을 찾곤 한다”고 말했다. 반면 AI는 오랜 시간 일관성 있게 사고할 수 있다. WSJ에 따르면 이번 문제 해결에 사용된 모델의 사고 과정을 축약해도 약 7만5000단어가 넘는다. 이는 해리 포터 시리즈 한 권 분량과 비슷한 수준이다.

이번 성과는 보수적인 수학계에서도 높은 평가를 받고 있다. 세계적 조합론 석학인 노가 알론 프린스턴대 교수는 “AI는 수많은 뛰어난 인간 연구자들이 시도했지만 실패한 일을 해냈다”고 밝혔다. ‘수학계 노벨상’인 필즈상을 수상한 티머시 가워스 콜레주드프랑스 교수는 이번 연구를 “AI 수학의 이정표”라고 규정했다. 그는 “만약 인간이 이 논문을 작성해 ‘애널스 오브 매스매틱스’(수학계 최고 학술지 중 하나)에 제출했고 내가 검토를 요청받았다면, 주저 없이 게재를 추천했을 것”이라고 했다.

AI가 만든 증명···새 저작 원칙 도입 필요성도

AI의 발전에도 불구하고 전문가들은 여전히 인간 수학자의 미래를 낙관한다. 마치 계산기처럼 AI가 인간의 호기심을 파괴하기보다 확장하는 도구가 될 수 있다는 것이다. AI 추론 분야 권위자인 노암 브라운 오픈AI 연구원은 엑스에 “알파고 이후 인간 바둑 기사들의 실력이 눈에 띄게 향상됐다”며 “수학에서도 비슷한 패턴을 보게 될 것”이라고 밝혔다.

WSJ은 수학자들이 이번 해법에서 나온 방법론을 활용해 다른 난제 해결에 도전하고 있다고도 전했다. 다만 부벡은 “돌파구의 의미는 불가능해 보였던 수많은 일이 갑자기 가능해진다는 데 있다”면서도 “우리는 앉아서 지켜보는 데 익숙해져야 할지도 모른다”고 했다.

다만 연구진은 이번 성과를 논문 사전공개 사이트 아카이브(arXiv)에 올리지 않기로 했다. “오픈AI 연구자들과 수천년간 수학을 발전시켜 온 인류 전체의 결실”은 맞지만 “전통적 의미의 인간 저자”는 존재하지 않는다는 이유에서다. 부벡은 엑스 글에서 ‘AI가 만든 증명’과 ‘인간이 그 증명을 이해한 결과물’을 분리하는 원칙 도입이 필요하다고 했다.

최경윤 기자 cky@kyunghyang.com