[칼럼] 역설과 딜레마가 수학에게 주는 이야기

선생님이 들려주는 과학이야기

"이러지도 저러지도 못하고, 참 난감한 상황이네요."

여러분은 혹시 이런 말을 들어본 적 있을까요? 아니면 이런 말을 직접 해본 적이 있나요? 우리가 시간이 지나고 인생을 살다 보면 꼭 듣게 되는 두 단어가 있다. 바로 '역설'이라는 단어와 '딜레마'이다. 아마도 '딜레마'라는 단어가 더 익숙할 텐데, 두 단어는 서로 다른 의미를 내포하고 있으며, 사용하는 상황도 다르다는 것을 알고 있나요?
먼저 '딜레마'는 선택해야 하는 어떤 상황에서, 어떤 것을 선택하더라도 불리하거나 불편한 결과가 항상 따라올 수 있는 것을 의미한다. 만약, 범죄자 두 명에게 이런 제안을 하면 어떤 결과가 나올까? 두 공범에게 서로 저지른 범죄를 자백하면 자신은 즉시 석방하고 반대쪽은 징역 3년을, 둘 다 자백하면 징역 2년, 둘 다 묵비권을 행사하면 징역 6개월을 선고한다. 이런 상황에서 나를 생각하면 즉시 석방하는 자백이 유리할 것이다. 타인의 선택을 고려하여 공범이 협조한다고 생각한다고 해도 나는 자백이 유리하다. 반대로 공범이 배신하여 자백하더라도 나는 자백이 유리하다. 이처럼 둘 다 서로에게 침묵하면 두 명 모두 좋은 결과를 얻을 수 있지만, 나의 침묵은 상대에 대한 불안감을, 나의 자백은 무조건 상대에게 불리하며 나에게 유리한 상황을 만들어 주는 이런 상황이 이루어진다. 딜레마는 우리에게 수학적 판단과 직관을 통해서 선택에 대한 합리적 논리를 만들어야 함을 이야기하며, 부족한 정보와 논리적 사고를 바탕으로 반복하는 결과를 확인하여 심리와 사회를 변화시킬 수 있다는 점에 초점을 두고 있다.
그러나 '역설'은 'paradox'라고 부르며, 논리와 말 자체에 모순이 있는 것을 말한다. 예를 들어 아래와 같은 상황을 보자.
민호: 수지는 거짓말을 잘한다.
수지: 민호는 정직한 사람이다.
만약 민호의 말이 참이라면, 수지는 거짓말을 하는 것이다. 그렇다면 수지의 말을 거짓으로 바꾸면 민호는 거짓말을 잘하는 사람이 된다. 그러나 민호의 말이 참이라고 최초에 가정하였으므로 지금의 논리는 적절하지 않습니다. 그렇다면 만약 민호의 말이 거짓이라면, 수지는 정직한 사람입니다. 그러면 수지가 이야기하는 민호는 정직한 사람이어야 하나, 최초에 가정하였던 민호의 말이 거짓이라는 것과 모순이 됩니다.
이처럼 '역설'은 논리에 있어서 모순이 있다는 것을 알려주는 것으로 유명해졌으며, 완벽하다고 믿었던 수학이 완벽하지 않을 수 있다는 의심하는 사건이 되었다. 이런 과정을 통해 추론과 증명이 올바른지 돌아보았으며, 이를 계기로 수학이 더 발전했다. 괴딜은 불완전성의 정리를 만들면서 역설을 연구하였으며, 수학자의 연구에서 추론과 증명을 위해 역설을 이용하고 있다.
물 밑에서 노력하는 수학자의 시간을 조금은 생각하고 이해해 볼까요?