남대문 중고서점서 마주친 난제, 그걸 풀어 미국에 보낸 수학 천재

[한겨레S] 박형주의 한국 수학의 인물 파노라마
이임학, ‘리군 이론’ 20세기 수학자 반열에

이임학의 생전 모습. 광복 70년 과학기술 대표 성과 70선 사례집

서양의 수학은 고대 그리스를 중심으로 발전했고 르네상스를 통해 재발견되었는데, 17세기의 이탈리아 선교사 마테오 리치가 유클리드 원론을 중국어로 번역했고 청나라의 강희제가 이 책을 공부했다는 기록이 있다. 일본의 경우는 19세기 메이지 유신 이후 근대 수학이 체계적으로 도입되었다. 반면에 한국에 서양의 수학이 도입된 것은 훨씬 뒤의 일이다. 20세기 초 실용학문 중심의 일제 식민지 고등교육 정책 때문에 경성제국대학에는 법문학부와 의학부만 있었고, 물리와 화학으로 구성된 이공학부는 1941년 전시 동원 체제에서 추가되었다.

고등 수학 교육이 부재했으니 당연히 연구도 없었다. 한국인이 수학 분야 최초의 연구 논문을 발표한 것은 해방 뒤의 통합 서울대에 수학과가 설립된 이후였다. 늦게 출발한 한국 수학은 1990년대 이후로 세계적으로 유례없는 수준으로 성장해서 논문 수가 10년 새 3배가 늘었다. 양적 성장은 질적 성장으로 이어져서 2022년 허준이 교수의 필즈상 수상으로 정점을 이루었다.

최초의 한국인 수학 논문은 남대문 중고 서점의 학술지에서 시작됐고 필즈상 수상은 헬싱키에서 일어났다. 이 연재는 ‘남대문에서 헬싱키까지’의 한국 수학 성장사를 통해서 현대 수학의 발전을 그려보려는 시도이다.

이임학이 세계적 수학자들과 교류한 편지. 광복 70년 과학기술 대표 성과 70선 사례집

한국 현대 수학의 개척자

미래에 대한 고민이 많던 대학 시절에 프랑스 수학자 장 디외도네의 ‘순수수학의 파노라마’라는 책을 읽었다. 현대 수학의 주요 분야를 소개하고 분야별 기여자들을 정리한 책인데, 이임학은 ‘리(Ree)군 이론’을 창시하여 유한군의 난제를 해결한 20세기 수학의 주요 기여자로 소개되어 있었다. 어렵게 읽은 책 내용이 소환된 것은 이듬해인 1985년에 캐나다 브리티시컬럼비아대학의 이임학 교수 초청강연 공지를 보았을 때였다. 뜬금없이 연예인 보러 가는 느낌으로 강연장에 갔다. 이 교수는 자신이 대학원생일 때 가까운 학부생이었던 로버트 랭글랜즈(랭런즈)가세계적 수학자가 된 기쁨과 랭글랜즈 프로그램이 현대 수학의 가장 큰 연구 주제가 되었다는 설명과 함께, 한국 학생들도 논문 쓰기 위한 ‘작은 수학’이 아니라 이런 ‘큰 수학’을 연구해야 한다고 했다.

논문 몇개를 썼는지가 연구자의 커리어에 절대적인 영향력을 미치는 학계의 현실에서 젊은이에게 이렇게 조언하기가 쉽지 않다는 것을 당시에는 몰랐다. 그가 해방 이후 우리나라에 현대 수학을 도입한 개척자라는 것도 당시엔 몰랐다. 캐나다에서 함흥에 있는 친척들을 만나러 북한에 간 것 때문에 한국 입국이 금지되어 1996년에야 처음 방한했다는 기록은 최근에야 보았다. 1985년 한국 공개 강연 기록이 신기루처럼 사라진 걸 보면, 어떤 이유로 임시로 허가된 방문이었던 모양이다. 한국 근대사의 아픔을 보여주는 한 단면일까.

체계적인 과학 교육이 부재했던 조선에서도 근대 과학에 대한 열망은 상당했다. 민태기 박사의 책 ‘조선이 만난 아인슈타인’을 보면, 1920년대에 상대성이론에 대한 전국 순회강연이 개최되어 수백명씩 참석했고 수원 강연에는 1천명 이상이 모였다고 한다. 먹고사는 것이나 대입과 무관한 과학 강연에 1천명 이상이 운집했다니….

낭중지추라고 했다. 전문 교육을 못 받아도 나타날 천재는 나타난다. 인도 출신의 위대한 수학자 라마누잔은 가족 부양을 위해 회사 경리로 일하다가, ‘소수 정리’에 대한 그의 노트를 본 하디 교수의 초청으로 영국 케임브리지대학으로 가서 놀라운 업적을 내며 영국왕립학회 펠로가 되었다. 1945년 전후의 조선에도 이런 천재가 나타났다. 1922년생의 함흥 출신 이임학은 경성제대에서 수학 천재로 유명했는데, 수학과가 없어서 물리 전공으로 학부만 마치고는 1947년 통합 서울대의 수학 교수가 되었다.

1953년 캐나다로 유학을 갈 때까지 서울대에서 가르쳤던 임덕상과 권경환 같은 제자들은 열악한 교육 환경에서도 대수기하학과 위상수학 분야의 세계적인 수학자로 성장했다. 특이하게도, 현대 수학의 양대 산맥이라고 할 수 있는 대수학(수를 기호로 대신한다는 뜻으로 수학적 구조와 방정식을 다룸)과 해석학(함수와 그 변화를 다루는 것으로 미적분의 발전된 형태) 중에서, 이임학과 그 제자들은 모두 대수학 관련 분야에서 업적을 냈다. 미분방정식 등의 분야에서 한국인 수학자들이 본격적인 역할을 하는 것은 한참 뒤다. 이렇게 분야의 편중이 발생한 원인은 분명치 않지만, 한국 수학의 여명기에 해석학 분야를 접할 기회가 적었던 탓으로 보인다.

☞한겨레S 뉴스레터 구독하기. 검색창에 ‘한겨레 뉴스레터’를 쳐보세요.

☞한겨레신문 정기구독. 검색창에 ‘한겨레 하니누리’를 쳐보세요.

이임학의 대표적 논문(‘A family of simple groups’). 광복 70년 과학기술 대표 성과 70선 사례집

1963년 캐나다 왕립학술원 회원

교수가 된 청년 이임학은, 주요 과목인 대수학 교재는 판데르바르던의 독일어 원서를 사용했고, 한국어 교재를 위해 윌리엄 그랜빌의 미적분학 책 등 다수의 수학 도서를 번역하며 20대를 불살랐다. 하지만 연구는 산 넘어 산, 막막한 상황이었다. 수학 저널을 찾아 헤매던 남대문시장에서 우연히 미국수학회보에 실린 수학자 막스 초른의 논문에서 제시된 문제를 보고 그 답을 편지로 써서 보낸 사건은 지금도 회자된다. 편지를 읽은 초른이 고쳐서 투고한 논문이 1949년에 동일 저널에 게재되면서 한국인 최초의 수학 논문 저자로 기록된 사건은 한편의 드라마다.

그는 부산의 서울대학교 전시 캠퍼스에서 일할 때 캐나다 브리티시컬럼비아대학 스티븐 제닝스 교수의 논문을 읽고 오류를 지적하는 편지를 보냈다. 깊은 인상을 받은 제닝스 교수가 대학원생으로 초청한 일은, 케임브리지의 라마누잔 초청을 상기시킨다. 이미 연구의 경험을 가진 ‘준비된 대학원생’ 이임학은 2년 만인 1955년에 박사 학위를 받았다.

그의 연구 분야였던 군론(group theory)은 수의 개념을 확장한 집합인 군을 연구하는 분야이다. 정수는 덧셈과 뺄셈의 연산이 잘 작동하는 집합이고, ‘0’을 제외한 유리수들을 모아놓으면 곱셈과 나눗셈의 연산이 잘 작동하는 집합이 된다. 우리는 통상 이런 집합을 ‘수’라고 생각하지만, 세상에는 ‘수’처럼 보이지 않으면서도 연산이 잘 작동하는 집합들이 있고, 군(group)이라 불리는 이런 집합을 이해하면 수의 개념을 확장할 수 있을 뿐 아니라, 물리학 등에서 나오는 대칭성을 표현하는 언어를 갖게 된다.

그는 ‘리(Ree)군’을 발견한 공로로 1963년 캐나다 왕립학술원 회원으로 선출되었고, 20세기를 풍미한 최고 수학자의 반열에 올랐다. 2000년대 이후에는 대한민국 과학기술인 명예의 전당에 헌정되었고, 2015년 광복 70주년을 기념하여 정부가 선정한 과학기술 70선에 선정되었다.

아주대 교수

서울대 물리학과 졸업 후 미국 유시(UC)버클리에서 수학 박사 학위를 받았다. 고등과학원·포항공대 교수를 지냈고 아주대 총장을 역임했다. 2014년 세계수학자대회 조직위원장과 한국인 최초의 국제수학연맹 집행위원도 맡았다.