“AI 활용해도 사유는 인간 영역… 난 문제 맥락과 전략에 집중한다”[M 인터뷰]

■ M 인터뷰 - 백진언 KIAS 허준이수학난제연구소 박사
‘소파’ 문제 접하고 막연한 자신감… 7년이나 갈 줄은 몰랐다
연구의 9할은 실패… 어느날 샤워하다 확실한 길 보여
난제 증명·새 이론 만드는 건 수학의 경계 넓히는 일
나중에 어떻게 쓰일지 몰라도 외면하면 미래 가능성도 없어
최근 기하학적 최적화 관심… ‘4차원 구 채우기’ 곧 화제 될 것

백진언(31) 고등과학원(KIAS) 허준이수학난제연구소 박사가 지난 22일 서울 동대문구 고등과학원에서 ‘소파 문제’ 증명을 적고 있다. 윤성호 기자

이른바 ‘소파 움직이기 문제(Moving Sofa Problem)’를 해결한 것으로 평가받는 백진언(31) 고등과학원(KIAS) 허준이수학난제연구소 펠로우(박사)는 인생이라는 난제를 수학으로 풀어가는 사람이다. 어린 시절 학원도 다니지 못할 정도로 어려운 가정환경을 딛고 수학적 재능을 꽃피웠다. 그는 수학을 두고 “붙잡아야 했던 동아줄”이라고 표현했다. 포스텍을 수석 졸업했지만, 이후 유학 비용이라는 장벽이 있었다. 다행히 주변의 도움을 받아 유학을 마쳤고, 지금은 기하학 난제를 푸는 데 집중하고 있다. 많은 돈을 벌 수 있는 길을 택할 법도 했지만, 그는 어려움을 하나씩 헤쳐나가는 길을 더 좋아하는 것 같았다. 그러한 성품이 난제를 푸는 원동력으로 느껴졌다. 지난 22일 서울 동대문구 고등과학원에서 만난 백 박사는 겸허하게 동료들의 논문 검증을 기다리면서 새로운 기하학 문제 풀이에 몰두하려고 애쓰고 있었다.

―‘소파 문제’ 논문을 공개한 지 1년 2개월 정도가 지났다. 현재 검증은 어느 단계인가.

“논문 분량만 119페이지에 달한다. 워낙 방대하다 보니 동료 수학자들의 객관적인 검증에 보통 2∼3년은 걸린다. 이제 1년 정도 지났는데, 사실 최대한 생각을 안 하려고 노력 중이다. 긴장이 안 된다면 거짓말이겠지만, 내가 긴장한다고 결과가 달라지지는 않기 때문이다. 학계의 약속에 따라 리뷰어(검토자)는 철저히 익명이 유지된다.”

―소파 문제를 풀기로 결심한 결정적인 계기가 있었나.

“원래 아기자기한 문제를 좋아한다. 중고등학생도 유심히 보면 이해할 수 있을 만큼 직관적이고 단순한 문제들을 좋아한다. 어느 블로그에서 소파 문제를 보고는 ‘내 능력과 도구로 해볼 만하겠다’는 막연한 자신감이 생겼다. 물론 그 막연함이 7년이나 갈 줄은 몰랐다.”

―7년이라는 긴 시간 동안 어떻게 연구를 이어갔나.

“전략을 세우고 실행하면 실패하는 게 연구의 9할이다. 처음엔 컴퓨터를 써서 나열하면 증명이 될 줄 알았는데 안 됐다. 계속 전략을 수정하며 디테일을 잡는 데만 4∼5년이 걸렸다. 그러다 2023년 어느 날 샤워를 하다 확실하게 길이 보였다. 김 서린 유리에 그림을 그리며 생각하던 중 ‘이거다’ 싶은 지점이 있었다. 그때의 희열은 잊을 수 없다.”

―증명을 마쳤을 때의 기분은 어땠나.

“두 가지 감정이 교차했다. 처음 아이디어가 잡혔을 땐 설렜지만, 실제 조각들을 맞추고 119쪽의 글을 쓰는 과정은 마치 거대한 공사를 마친 느낌이었다. 설계도를 잡는 것과 실제 완공은 다르지 않나. 다 쓰고 나니 지쳐 쓰러질 것 같더라.”

―이런 난제를 푸는 것이 세상에 어떤 도움이 되나.

“문제를 풀기 위해 기존 수학을 재조합하고 새로운 이론을 만드는 과정 자체가 수학의 경계를 넓히는 일이다. 이 이론이 나중에 어떤 산업에 어떻게 쓰일지는 아무도 모른다. 하지만 새로운 땅을 개척해 놓지 않으면 미래의 가능성도 없다. 개인적으로는 몇십 년간 풀리지 않은 문제에 처음으로 ‘깃발을 꽂았다’는 성취감을 느낀다.”

―지금은 어떤 연구에 집중하고 있나.

“‘토스 앵글 합 문제(Toth Angle Sum Problem)’ 같은 기하학적 최적화 문제들을 보고 있다. 또 하나 욕심나는 건 ‘4차원 구 채우기 문제’다. 3차원 공(당구공)을 가장 밀도 있게 쌓는 법은 300년 만에 풀렸고, 8차원은 최근 필즈상을 받은 주제였다. 4차원 문제는 곧 화제가 될 것 같아 레이더에 두고 있다.”

―수학계의 노벨상이라 평가받는 필즈상을 목표로 하나.

“상은 노린다고 받을 수 있는 게 아니다. 좋은 연구를 하면 따라오는 것이지, 상을 위해 연구 스타일을 바꾸고 싶지는 않다. 그림 그리는 사람에게 고유의 미감이 있듯, 수학자에게도 각자 잘하는 ‘연구의 맥’이 있다. 그저 내가 하고 싶은 연구를 계속하고 싶을 뿐이다.”

―어릴 적 가정 형편이 어려웠는데, 이 자리에 오기까지 힘들진 않았나.

“아버지가 일찍 돌아가셔서 경제적으로 많이 힘들었다. 학원도 거의 못 다녔다. 하지만 무료 영재 교육이나 장학금 등 주변의 도움 덕분에 공부를 지속할 수 있었다. 어릴 적 수학은 내가 세상에 존재하기 위해 붙들어야만 했던 ‘동아줄’ 같았다. 이제는 그런 심리적 결핍을 수학적 성취가 아닌 다른 방법으로 채우려 노력 중이다.”

―인공지능(AI)이 수학 난제를 푸는 시대가 도래했다. 수학자의 역할도 사라질 수 있다는 위기를 느끼진 않나.

“AI는 나보다 코딩을 잘하고, 모든 수학 이론을 한 번씩 훑어봤다. 하지만 ‘어떤 문제가 가치 있는가’ ‘어떤 방향으로 탐구해야 하는가’라는 철학적 사유는 여전히 인간의 영역이다. AI를 적극적으로 활용한다. 제가 못 푸는 부분은 ‘아웃소싱’하고, 저는 문제의 맥락과 전략에 집중한다.”

백 박사는 2024년 11월 소파 문제 논문을 공개한 뒤 지난해 8월 연세대에서 고등과학원으로 소속을 옮겼다. 올해 30주년을 맞는 고등과학원은 강의 의무가 없는 순수한 연구기관으로, 백 박사와 같은 난제 연구자에게 최적의 환경을 제공할 수 있는 국내 기관으로 꼽힌다. 허준이수학난제연구소는 필즈상 수상자인 허준이 박사를 기념하기 위해 지난 2023년 신설됐다. 연구자들에게 최대 10년 동안 안정적인 연구 환경을 보장한다.

―고등과학원에서의 생활은 어떤가.

“고등과학원은 오롯이 연구에 집중할 수 있는 곳이다. 특히 ‘티타임’ 문화가 인상 깊다. 아인슈타인이 공부하던 방식처럼, 매일 정해진 공간에서 커피를 마시며 다른 분야 수학자들과 대화할 수 있다. 막혔던 아이디어가 다른 이와의 눈높이 대화에서 풀릴 때가 많기 때문이다. 수학은 혼자 하는 것 같지만, 결국 교류를 통해 완성된다. 더 많은 이들이 이와 같은 연구 환경을 누리면 좋겠다.”

―수학도를 꿈꾸는 이들에게 해줄 말이 있다면.

“수학 외에도 대인관계나 여행 등 중요한 게 정말 많다. 하지만 모든 것을 다 경험해 봐도 결국 수학이 끌린다면, 그때는 끝까지 붙들어 보라고 말하고 싶다. 그 끝에 느끼는 성취감은 무엇과도 바꿀 수 없다.” 김린아·

■ ‘소파 움직이기 문제’란?
‘ㄱ’자 복도 통과하는 가장 큰 소파형태 찾기… 백 박사, 수학적으로 증명

백진언 박사가 해결한 ‘소파 움직이기 문제(Moving Sofa Problem)’는 폭이 1(단위길이)인 ㄱ자 형태의 복도를 통과할 수 있는 가장 큰 소파의 형태와 넓이는 무엇인지 찾는 것이다.

이 문제는 1966년 캐나다의 수학자 레오 모서가 처음 제기했고, 약 60년간 기하학 분야의 난제였다. 문제 자체의 이해는 어렵지 않지만, 제한 없는 소파 형태, 비선형적 움직임 때문에 증명이 쉽지 않았던 것이다. 소파가 사각형이 아니라 구불구불한 곡선의 형태여도 상관없고, 소파가 직진만 하는 게 아니고 회전과 미세한 조정을 반복하기 때문에 수학적으로 이를 기술하기 어려웠다.

많은 학자가 소파 움직이기 문제에 도전했고, 1992년 미국 수학자 조지프 거버 럿거스대 교수는 18개의 곡선으로 이뤄진 소파 형태를 제시했다. 거버 교수가 제시한 소파의 면적은 2.2195였다. 복도의 폭이 1m라면 소파의 최대 면적은 약 2.2195㎡가 된다는 의미다. 거버 교수의 소파는 앞부분이 둥글고 뒷부분은 살짝 파여 있다. 옆면은 복도를 회전할 때 벽에 닿지 않도록 정밀하게 계산된 곡률을 가지고 있다.

그동안 수학계에서는 거버 교수의 소파가 가장 이상적인 형태일 거라고 꾸준히 추정됐으나 이를 수학적으로 증명하지는 못했다. 그로부터 30년이 넘게 흐른 2024년 백 박사는 거버 교수가 제시한 소파보다 더 넓은 소파는 존재할 수 없음을 증명했다. 기존 연구들은 소파의 형태에 대한 모든 경우의 수를 생각하고 컴퓨터를 이용해 상한선을 좁히는 데 주력했다. 하지만 백 박사는 논리만을 사용해 거버 교수의 소파보다 더 큰 도형이 존재하지 않음을 증명했다.

백 박사의 연구는 미국 과학 전문지 ‘사이언티픽 아메리칸’이 선정한 2025년 10대 수학 혁신 성과로 인정받았다. 이번 연구는 수학계 최고 학술지 ‘수학 연보’(The Annals of Mathematics) 검증을 기다리고 있는데 현재까지 학계에서는 백 박사의 증명이 타당한 것으로 보고 있다.

김린아·김지현 기자