[주말N수학] 챗GPT, 수학자에게 위협이 될까
‘누가 나 대신 수학 문제를 풀어줬으면 좋겠다’고 생각한 적이 있나요. 챗GPT의 등장으로 이 생각이 실현될지도 모릅니다. 수학자도 챗GPT에게 자리를 위협받을 수 있다는데요. 실제 수학자의 생각은 어떨까요. 수학자와 함께 챗GPT로 수학 문제를 풀어보며 챗GPT의 실제 수학 실력도 검증해봤습니다.
2023년 3월 오픈AI와 미국 펜실베이니아대 연구팀은 ‘수학자가 챗GPT와 같은 생성형 AI의 영향을 가장 크게 받을 직업 중 하나’라는 연구 결과를 발표했습니다. AI의 영향은 크게 두 가지 의미를 내포합니다. 챗GPT가 그 분야에 도움을 주거나 심하면 일자리를 대체할 가능성이 있다는 겁니다.
그런데 챗GPT를 수학 문제 푸는 데 이용해본 사람이라면 고개를 갸우뚱할 겁니다. 챗GPT의 문제 풀이 능력은 다른 능력에 비해 턱없이 부족하기 때문입니다. 소프트웨어 기술 검증 스타트업 ‘애나’와 김시호 연세대 IT융합공학과 교수팀은 GPT-3.5 기반의 챗GPT에게 2023학년도 대학수학능력시험을 풀게 하는 실험을 했습니다. 그 결과 영어는 33문제 중 27문제로 82%로 맞혔고, 수학은 20문제 중 6문제로 30% 밖에 못 맞혔지요.
김동진 한양대 데이터사이언스학부 교수는 “챗GPT와 같은 언어 모형은 수학 관련 부분에서 취약하다”며 “문장 패턴만을 외워 그럴싸한 문장을 만들어낼 뿐, 식의 수리적 관계를 이해하지 못하기 때문”이라고 설명했습니다.
물론 오픈AI는 GPT-4를 출시하며 이전 모델이 가지고 있었던 취약점을 보완했습니다. GPT-3.5와 GPT-4의 미국 대학입학 자격시험인 SAT 수학 성적의 백분위를 비교했을 때 상위 30%에서 11%로 상승했습니다. 하지만 GPT-4의 미국 수학경시대회(AMC)의 성적을 보면 10학년 시험은 하위 6~12%, 12학년 시험은 하위 45~66%에 머물러 아직까지 수학 능력이 크게 향상됐다고 보긴 어렵습니다.
하지만 한 가지 희소식이 있습니다. 2023년 3월 출시된 GPT-4 기반의 챗GPT 플러스는 수학 검색엔진 ‘울프럼 알파’와 플러그인으로 연결하는 기능이 추가됐습니다. 플러그인은 다른 웹사이트와 상호작용할 수 있는 확장 프로그램을 말합니다. 울프럼 알파를 연결한 챗GPT 플러스는 기존보다 수학 문제를 정확하게 계산해낼 뿐만 아니라 답을 그래프와 도표로 시각화할 수 있지요. “이는 챗GPT에게 문제 해결을 도울 계산기를 쥐여준 것과 같다”고 말한 서민준 KAIST 김재철AI대학원 교수는 “덕분에 수학에서는 새로운 시대가 찾아올 것”이라고 기대했습니다.
그렇다면 챗GPT는 수학자에게 얼마나 영향을 미치게 될까요. AI를 연구하는 김건희 서울대 컴퓨터공학부 교수는 “수학이라는 분야가 워낙 넓어서 챗GPT의 영향을 가장 많이 받는 직업이라고 단언하기 어렵다”라면서도, “수학에서 챗GPT의 도움을 받는 분야가 점점 넓어지고 생성형 AI가 수학자가 잘하는 부분을 잠식해올 것”이라고 설명했습니다.
○ 국내 수학자 6명 "챗GPT가 수학자 위협 안 한다"
챗GPT에 대한 수학자의 생각은 어떨까요. 수학자 7명의 이야기를 들어봤습니다.
엉뚱한 대답을 많이 해서 수학 연구할 때는 잘 사용하지 않아요. 하지만 기술이 워낙 빠르게 발전하니까 곧 수학 실력이 올라갈 거예요. 그렇다 해도 챗GPT는 수학자와 경쟁하기보다는 보조 수단으로써 수학자가 더 좋은 연구를 하게 도울 것 같아요.
챗GPT가 할 수 있는 영역이 무궁무진하지만, 수학자가 하는 일은 그 너머에 차원이 다른 창조적인 일이라고 생각해요. 다만 응용수학은 수학 외에도 다양한 학문이 쓰여서 빠른 시간에 많은 정보를 얻기 위해 챗GPT를 이용하면 편리할 것 같아요.
챗GPT는 거짓말을 잘해요. 수학에서도 잘못된 정보를 주지요. 챗GPT가 발전하면 일반적으로 학생들이 푸는 답이 알려진 문제는 풀겠지만, 수학자가 연구하는 아무도 답을 모르는 문제는 풀기 어려울 거예요.
챗GPT로 인해 많은 직업이 영향을 받겠지만, 수학자가 특별히 더 많은 영향을 받을 것이라고 생각하지 않아요. 수학자의 중요한 역량인 문제를 제기하고, 새로운 개념을 정의하며, 복잡한 연역적 사고를 수행하는 능력에서 아직까지는 부족한 점이 많다고 생각합니다.
수학자가 하는 일은 추상적이기 때문에 챗GPT의 도움을 받기는 어려워요. 하지만 수학자의 연구를 뒷받침하는 도구로 활용할 수 있지요. 예를 들어 특정 구간에서 해가 몇 개인지를 구하는 공식을 구한 뒤 챗GPT로 해의 개수를 세는 프로그램을 짜서 검산하는 거예요.
수학은 논리와 통찰력이 중요한데 챗GPT와 같은 생성형 AI는 이 부분이 약하다고 볼 수 있어 아직은 연구를 보조하는 수단 정도로만 사용할 수 있을 겁니다. 하지만 자연어 처리 및 AI가 빠르게 발전하는 만큼 미래에는 이러한 기술의 도움으로 수학자의 역할이 약간 변할지도 모르겠습니다.
○ 필즈상 수상자가 알려주는 챗GPT 사용법
최근 자신의 SNS에 챗GPT에 관한 글을 꾸준히 올려 화제가 된 2006 필즈상 수상자 테렌스 타오 교수에게 챗GPT 사용 후기를 자세히 물었습니다.
Q. 챗GPT를 어디에 주로 사용하나요.
"최근 질문할 때 검색엔진 대신 챗GPT를 주로 사용해요. 또 글 초안을 작성하거나 PDF에서 스프레드 시트로, 텍스트 단락에서 플로우 차트로 데이터 형식을 변환할 때에도 사용해요. 어떻게 해야 챗GPT를 가장 잘 사용할 수 있는지를 알아가고 있습니다."
Q. 챗GPT로 수학 문제를 풀어보셨나요.
"네. 그런데 챗GPT는 ‘환각’ 현상이 있어요. 수학 문제를 풀어달라고 하면 대개는 그럴듯한 답을 말하지만, 자세히 살펴보면 말이 안 되는 답변을 합니다. 그래서 수학 분야보다는 정답이 없는 예술 같은 창의적인 영역에서 더 유용해요.
하지만 문제를 푸는 대신 문제 해결을 위한 가능한 접근법을 제안해달라고 요청하면 조금 더 나은 결과를 얻을 수 있어요. 제안 중 많은 것이 이미 알고 있거나 쓸모없지만, 때로는 예상치 못한 아이디어를 제공하지요. 그러나 아직 미해결 수학 문제를 풀도록 도와준 적은 없어요.
고등학생이나 대학생, 심지어는 일부 대학원생에게는 좋은 멘토가 될 수 있다고 생각해요. 교과서 수준의 수학 문제에는 어느 정도 괜찮게 답변하니까요. 물론 사람이 더 낫겠지만요. 사람은 일주일에 몇 시간만 만날 수 있지만, AI는 원하면 언제든지 이용할 수 있다는 장점도 있지요."
Q. 수학에서 챗GPT를 활용하는 방법을 알려주세요.
"‘의미론적 검색(semantic search)’을 수행할 수 있어요. 예를 들어 수식이나 정리를 입력하면 챗GPT가 여러 문헌에서 다르게 표기돼 있지만 비슷한 의미로 쓰인 수식이나 정리를 찾아주지요. 이를 통해 수학에서 새로운 연결을 많이 발견할 수 있습니다. 저는 챗GPT의 이러한 기능을 시험해봤어요. 아직 많이 부정확하지만, 때로는 챗GPT의 짐작 뒤에 우리가 발견하지 못했던 ‘직관’이 숨어 있어요."
○ 수학자와 함께 챗GPT로 수학 문제 풀어봤다.
김재훈 KAIST 수리과학과 교수와 함께 챗GPT 플러스의 GPT-4를 이용해 고등학생도 풀 수 있을 만한 ‘조합론’ 문제를 풀어봤습니다. 조합론은 경우의 수를 탐구하는 분야예요. 과연 챗GPT는 수학자가 낸 문제의 답을 맞혔을까요.
김재훈 교수 방 안에 7명의 사람이 모여있습니다. 이 사람 중 일부가 서로를 안았습니다. 모든 사람이 포옹을 4번씩 했지요. 이게 가능한가요? 가능하다면 실제 예를 들어서 가능함을 보이고 불가능하다면 불가능함을 증명해주세요.
챗GPT 이 문제는 그래프 이론을 사용해 쉽게 해결할 수 있습니다. 각 사람을 정점으로 나타내고, 두 사람이 포옹한 경우를 선으로 연결합니다. 이 문제에서 각 정점의 차수(연결된 선의 수)는 4입니다. 이 문제는 모든 정점의 차수가 4인 그래프가 존재하는지를 묻는 것입니다.
이 문제의 경우 불가능함을 증명할 수 있습니다. 방법은 다음과 같습니다.
1. 그래프의 모든 정점의 차수 합은 선의 수의 2배와 같습니다. 왜냐하면 각 선은 두 개의 정점에 연결돼 있기 때문입니다.
2. 7명의 사람이 각각 4번의 포옹을 한다면, 모든 정점의 차수 합은입니다.
3. 이 경우 선의 수는 28/2 = 14입니다.
그러나 홀수 개의 정점이 모두 짝수 차수를 가지려면 선의 수가 홀수여야 합니다. 이는 ‘악수 보조정리(Handshaking Lemma)’로 알려진 그래프 이론 결과입니다.
4. 이 문제의 경우에는 선의 수가 짝수이므로, 7명의 사람이 각각 4번의 포옹을 하는 것은 불가능합니다.
결론적으로, 이 상황에서 각 사람이 4번씩 포옹하는 것은 불가능합니다.
김재훈 교수 선의 수가 홀수일 때 불가능합니다. 이 경우에는 선이 짝수 개이므로, 7명이 모두 4번씩 포옹하는 것은 가능합니다. 따라서 챗GPT의 답이 틀렸습니다.
“챗GPT가 문제를 직접 풀었다고 하긴 어렵지만 미래에는 영향을 줄 수도”
김재훈 교수 제가 낸 유형의 본래 문제는 워낙 유명해서 챗GPT에 데이터가 있을 것 같아 본래 문제를 살짝 변형했습니다. 원래 문제는 7명의 사람이 모두 악수를 3번씩 하는 게 가능한지 묻지요. 그래서 악수는 포옹으로, 3번은 4번으로 바꿨어요. 챗GPT의 답변을 보면 악수 보조정리는 알고 있지만, 저장된 내용을 따라 답하는 거예요. 7명이 3번씩 악수하는 것이 가능한지를 묻는 문제의 풀이와 답이 인터넷에 많이 있거든요.
그런데 선의 개수가 챗GPT가 이미 알고 있는 문제와 똑같은 홀수가 아닌 짝수여서 그 부분에서 잠깐 답변이 지체됐어요. 결국 선의 개수가 짝수가 나왔는데도 불가능하다고 답변했지요. 이 문제 외에도 3개의 문제를 풀어보게 했는데 다른 문제들도 원래 입력된 데이터를 바탕으로 쓴 거지 직접 풀었다고 하긴 어려워요. 물론 ‘문제를 푼다’는 정의 자체가 불분명하긴 해요. 우리도 예전에 비슷한 문제를 본 적이 있어야 다른 문제를 풀 수 있으니까요.
그럼에도 저는 미래에는 수학자가 챗GPT와 같은 AI에 큰 영향을 받을 거라고 생각해요. 구글 딥마인드가 개발한 바둑 인공지능 프로그램인 알파고를 떠올려 보면, 이세돌과 알파고가 대국하기 전에 바둑 기사들은 알파고가 이세돌을 절대 이길 수 없다고 이야기했어요. 결국 알파고는 보통 바둑 기사가 떠올릴 수 없는 창의적인 수를 둬서 압승했어요. 바둑과 마찬가지로 수학 문제도 없던 걸 만들어내는 게 아니라 있는 것을 이용해서 창의력을 발휘하는 거예요. 그렇다면 장기적으로 봤을 때 AI가 수학 연구도 충분히 해낼 수 있을 거예요.
아직까지 챗GPT의 수학 실력에 빈틈이 많지만, 나날이 향상될 것입니다. 챗GPT 같은 AI와 수학자가 함께 좋은 연구를 하는 미래를 기대합니다.
※관련기사
수학동아 6월호, 챗GPT 과연 수학자를 위협할까?
[김진화 기자 evolution@donga.com]
Copyright © 동아사이언스. 무단전재 및 재배포 금지.