[한국 과학의 선구자들] 한국 최초 국제 학술 논문 주인공… 갈루아와 나란히 ‘최고 수학자’ 반열에

⑦ 세계적 수학자 이임학

1996년 미 프린스턴 고등연구소 울펜손홀 앞 잔디에서 국내 수학 교수들과 함께 선 이임학(가운데). 당시 프린스턴대가 개최한 학술 대회 자리였다. 이임학은 학술 대회에 특별 초청됐다. 왼쪽부터 김대산 서강대 교수, 김동균 고려대 교수, 이임학, 양재현 인하대 교수, 채희준 홍익대 교수. /대한수학회

1947년 미국의 저명한 수학자 막스 초른 교수에게 서울대학교에서 보낸 편지 한 통이 도착했다. 발신인은 이임학. 전혀 들어본 적 없는 이름이었다. 내용은 초른 교수가 ‘미국수학회보’에 발표한 미해결 문제를 자신이 풀었다는 것. 당시 25세의 서울대 수학과 교수였던 이임학은 해외 학술지에 어떻게 투고해야 하는지 몰라 초른 교수에게 편지로 보낸 것이다. 초른은 처음 받아 본 동양인의 논문을 대신 투고해 1949년 같은 학술지에 싣는다. 이것이 대한민국의 첫 국제 학술 논문이다. 이후 막스 초른은 1993년 사망할 때까지 더 이상 논문을 발표하지 않았다. 나중에 세계 수학계를 뒤흔든 이임학은 이렇게 국제 무대에 등장했다.

물리학과 전공한 수학 천재

1922년 함흥에서 태어나 1939년 경성제국대학 예과에 입학한 이임학은 1942년 이공학부로 진학했다. 1924년 개교한 경성제국대학은 조선 유일 대학이었지만 법문학부와 의학부만 있었다. 과학은 가르치지 않다가 전시 동원 체제를 위해 1941년에야 이공학부를 만들었다. 이임학은 이 무렵 입학한 것이다. 하지만 경성제국대학 이공학부에는 수학과가 없어 이임학의 전공은 물리학이었다. 여기서 천재적 수학 재능으로 명성을 얻은 이임학은 1944년 졸업 후 만주에 있던 박흥식의 ‘조선비행기공업 주식회사’에 취직한다. 1945년 8월 소련이 참전하자 만주 곳곳에서 일본 관동군이 무너지기 시작했다. 이때 함흥으로 돌아온 이임학은 고향에서 해방을 맞아 서울로 향했다.

1945년 가을, 경성제국대학은 경성대학으로 이름을 바꾸고 새 학기를 준비했다. 우리 과학자들은 이공학부에서 일본인 교수들이 물러난 자리를 채웠다. 특히 일제강점기까지 없었던 수학과를 한국 최초로 만들어 간 과정은 흥미롭다. 처음 시작한 경성대학 수학과를 누가 맡을 것인지 수학자 15명이 모여 투표했는데, 대학을 갓 졸업한 이임학이 김지정, 유충호와 함께 뽑혔다. 당시까지 도쿄제국대학 수학과를 졸업한 조선인은 1923년의 상대성이론 전국 순회 강연으로 유명했던 최윤식을 비롯해 김지정과 유충호 세 사람이었다. 불과 24세의 이임학이 당시 경성광산전문학교 교수였던 최윤식을 대신할 정도로 모두가 그의 천재성을 인정했다.

젊은 시절의 이임학. /대한민국 과학기술 유공자 공훈록

1946년 여름, 경성대학에 경성의학전문, 경성광산전문, 경성공업전문 등 관립 전문학교 9곳을 합쳐 서울대학교를 만든다는 계획이 발표되자 대학 자치를 둘러싼 논쟁으로 학계가 분열한다. 9월 경성대학 이공학부 교수 38명이 집단 사표를 내자, 북한은 이들을 김일성 대학으로 초청했다. 이에 수학과 교수 김지정, 유충호가 북쪽을 택했고 함흥에 가족이 있던 이임학도 합류했다. 10월 서울대학교가 개교하면서 이 세 교수의 빈자리는 최윤식이 맡아 수학과 초대 주임교수가 되었다. 김일성종합대학에서 잠시 강의를 맡았던 이임학은 북한 정권에 반감을 느껴 가족과 탈출한다. 이후 휘문고등학교와 이화여자고등학교에서 근무하다가 1947년 서울대학교 수학과에 다시 합류했다. 그를 부른 것은 최윤식이었다. 초른의 미해결 문제를 푼 논문은 이때 탄생한 것이다.

1950년 한국전쟁으로 서울이 점령당하자, 월남 이력을 가진 이임학은 인민군을 피해 숨어 지냈다. 1·4 후퇴 때 일단 제주로 피신한 그는 부산에 전시 캠퍼스를 연 서울대학교에 합류한다. 전쟁 중이었지만 부산의 미국 공보원을 수시로 들러 미국 학술지를 보며 연구했다. 이때 캐나다 브리티시컬럼비아대학 제닝스 교수의 논문에서 오류를 보고 이를 지적하는 편지를 보낸다. 편지를 받은 제닝스 교수는 즉시 이임학의 천재성을 알아보고 초청했다. 캐나다로 떠난 이임학은 2년 만인 1955년에 박사 학위를 받았다. 연구를 계속하고 싶었던 그는 여권 연장을 신청하지만, 대한민국 영사관은 거부한다. 여권까지 뺏겨 무국적자가 된 이임학은 캐나다 정부의 도움으로 연구를 이어갈 수 있었다.

국적 회복 못한 채 2005년 사망

1957년 군론(group theory) 연구를 시작한 그는 1960년 새로운 유한 단순군을 발견한다. 프랑스 천재 수학자 갈루아가 대수방정식의 풀이 가능성을 연구하기 위해 도입한 군론 연구는 20세기 들어 현대 수학의 주요한 흐름이 되었고 1950년대 새로운 단순군 발견이 뜨거운 관심사였는데, 이를 이임학이 해낸 것이다. 이임학이 발견한 ‘Ree군’은 세계 수학사의 중요한 이정표가 되었으며, 그는 이 공로로 1963년 캐나다 왕립학술원 회원으로 선출된다. 이어 미국, 영국, 일본의 수학 사전에 이임학의 이름이 올랐다. 가장 권위 있는 수학 역사서인 ‘순수 수학의 파노라마(A Panorama of Pure Mathematics)’에는 군론 분야의 위대한 수학자 21인으로 선정되어 코시, 갈루아와 같은 전설적 수학자와 나란히 실렸다. 하지만 그는 캐나다인 이임학으로 소개되었다.

이임학은 1966년 모스크바에서 열린 세계 수학자 대회에 참가해 월북한 경성대학 동료 수학 교수 김지정을 만난다. 가까스로 어머니와 누이동생을 남쪽으로 데리고 온 이임학은 함흥에 남은 친척 소식이 간절했지만 알 수 없었다. 이를 안타까워한 헝가리 수학자 에르되시가 북한에 남은 이들과 편지 주고받는 일을 도와주었다. 너무 기뻐한 이임학은 서울에 있는 어머니에게 북한 친지들의 편지를 보낸다. 하지만 이것이 빌미가 되어 남쪽 가족은 당국의 감시 대상이 되었다. 많은 후학이 세계적 수학자 이임학의 국적과 명예 회복에 나섰지만 쉽지 않았다. 1996년 대한수학회 창립 50주년 행사로 한국에 왔지만, 국적 회복은 성사되지 않았고 결국 이임학은 캐나다 시민권자로 2005년 사망했다.

죽는 날까지 한국을 그리워한 이임학

2001년 국내 언론사와 통화할 때 “조선말로, 조선말로 해 주세요”

해방되자 일본 교재를 대신할 한국어 수학책이 중요하다고 생각한 이임학은 영미권 대학 교과서나 학계 동향을 알고 싶었다. 하지만 당시 정국 혼란으로 최신 학술 잡지나 도서가 들어오지 않았다. 그러던 중 1947년 기적 같은 일이 일어났다. 이임학은 남대문시장에서 미군이 버린 서적들을 뒤적이다 막스 초른의 논문이 실린 미국수학회보를 본 것이다. 대한민국 첫 국제 학술 논문은 이렇게 탄생했다. 논문 투고 방법도 몰랐기에 자기 논문이 실린 사실도 몰랐다. 1953년 캐나다에 도착해서야 초른에게 보낸 논문이 미국수학회보에 게재된 사실과, 세계 수학계에서 자신이 유명해졌음을 알게 된다.

이임학은 1948년 미국 대학에서 널리 사용하던 ‘미적분학’ 교재를 번역해 한국어로 된 첫 고등 수학 교재를 만들었다. 이어 ‘평면해석기하학’, ‘대수학’ 등 대학 교재를 7권 저술해서 우리나라 대학 수학 교육의 기초를 만들었다. 캐나다에 정착하며 세계적 학자가 된 뒤에도 그는 한국을 잊지 않았다. 2001년 국내 언론사와 통화하며 이렇게 말했다. “조선말로 해 주세요. 조선말로 해 주세요. 조선말을 들으면 다시 생각나는 것이 많습니다.”

2003년 알츠하이머병을 앓고 있던 그를 찾아간 서울대 수학과 김도한 교수는 이렇게 회고한다. “가족들의 연주에도 별 반응이 없던 이 선생님께서 제 아들과 조카들이 ‘고향의 봄’을 부르자 금방 눈물을 주르륵 흘리셔서 모두 가슴 뭉클했던 기억이 선명합니다.” 2005년 타계한 이임학은 2006년 대한민국 과학기술인 명예의 전당에 헌정된 최초 수학자이고, 2015년 우리나라 과학기술 대표 성과로 ‘Ree군’이 선정되었다. 무엇보다 그는 세계 수학사에 이름을 남긴 첫 한국인이다.