“인공지능이 수학자 대체할 순 없지만 연구방법 완전히 바꿀 것”

필즈상 수상한 테런스 타오 교수
“AI 이용해 추측 증명 시간 단축
더욱 광범위한 연구 가능해져”

테런스 타오 미국 로스앤젤레스 캘리포니아대(UCLA) 교수가 새 논문 내용을 발표하기 위해 4일 서울대를 찾았다. 임익순 오픈스튜디오 작가 제공

“수학자는 지금껏 펜과 종이를 이용해 수학을 연구했지만 앞으론 인공지능(AI)이 수학 연구 방법을 완전히 바꿀 것입니다. 인간은 자신의 일이 언제 AI로 대체될지 모르기 때문에 자신의 경력을 계속 재창조해야 합니다.”

4일 석학 강연을 위해 서울대를 찾은 테런스 타오 미국 로스앤젤레스 캘리포니아대(UCLA) 교수(48)는 동아사이언스가 발행하는 수학잡지 ‘수학동아’와 가진 단독 인터뷰에서 이같이 말했다. 그는 삼성미래기술육성재단이 주최한 비공개 강연 프로그램 ‘AI의 수학이론’ 연사로 이달 초 방한했다.

타오 교수는 아이큐(IQ) 221로 세계에서 지능이 가장 높은 인물 중 한 명이며 현존 최고 수학자로 인정받는다. 2006년 만 31세의 나이에 정수론과 조화해석 분야 연구 업적을 인정받아 ‘수학계 노벨상’인 필즈상을 받았다. 의학, 컴퓨터공학 등 여러 분야 난제를 해결해 ‘풀리지 않는 문제를 해결할 가장 좋은 방법은 이 문제로 타오의 관심을 끄는 것’이라는 문구가 생겨났을 정도다.

약 2년 전부터 타오 교수의 관심을 사로잡은 건 AI다. 그는 현재 수학자가 어떻게 AI 도구를 이용해 새로운 추측을 제시하고 증명할 수 있는지 연구 중이다. 5월 미국 대통령 과학기술자문위원회 생성AI 영향 연구 실무그룹의 공동 의장도 맡았다.

타오 교수는 2021년 우연히 챗GPT를 접한 뒤 AI를 연구에 활용하기 시작했다. 지금도 틈날 때마다 챗GPT에 다양한 수학 문제를 넣어보고 AI의 실수 줄이는 법, 연구할 때 AI 쓰는 법 등을 자신의 블로그에 업데이트하고 있다. 타오 교수는 “앞으로 AI가 완전히 수학자를 대체하기는 어렵지만 10년 뒤엔 ‘린(Lean)’과 함께 수학자의 연구를 활발히 도울 것”이라고 했다.

린은 마이크로소프트 리서치팀이 2013년 개발한 수학 증명을 검증하는 소프트웨어다. 린은 갈수록 검증이 어려워지고 있는 수학 논문 검증에 활용된다. 컴퓨터 언어인 코드로 증명 내용을 변환해 린에 입력하면 이 증명이 참인지 알려주는 원리다.

린은 아직 대학 학부 수준의 수학 증명만 이해하지만 린에 입력된 논문과 정의, 정리가 많아질수록 점점 똑똑해지고 있다. 타오 교수는 “AI 성능이 좋아지면 수학자는 챗GPT 같은 생성형 AI의 도움을 받아 증명을 만들어낸 뒤 린에 입력해 참이 되는 것을 찾을 수 있고 코드로 출력된 증명을 다시 생성형 AI를 이용해 사람이 이해할 수 있는 언어로 바꿔 논문을 쓰는 방식으로 연구할 수 있다”고 설명했다.

보통 수학자는 어떤 내용을 참이나 거짓이라 가정하고 증명을 시도한다. 참이라고 가정하고 연구했는데 그 가정이 틀렸다는 사실을 아는 경우가 대부분이다. 타오 교수는 “이전엔 간단한 추측 하나를 증명하는 데 많은 시간을 보냈고 더 높은 수준의 연구를 하기까지 많은 시간이 필요했지만 AI의 도움을 받으면 인류는 광범위한 연구를 할 수 있게 된다”며 “그때 우리는 더 넓은 것을 볼 수 있을지 모른다”고 말했다. 분야를 넘나들며 서로 연결짓는 연구가 이뤄져 지금까지 알 수 없었던 새로운 지식에 도달할 수도 있다는 얘기다.

이미 놀랄 만한 업적을 이뤘음에도 AI를 활용한 수학 연구로 끊임없이 새로운 분야에 도전하는 이유에 대해 그는 “미래의 제 자신을 도울 뿐이며 언젠가 필요할 것 같은 일에 시간을 투자하도록 스스로에게 강요하고 있다”며 “AI도 마찬가지로, 특별한 목표는 없으며 단지 기회가 왔을 때 무언가를 잘해 낼 수 있는 위치에 있고 싶다”고 말했다.

이채린 수학동아 기자 rini113@donga.com