[민태기의 사이언스토리] 수학은 늘 ‘다수결’ 투표의 약점을 지적했다

美 경제학자 케네스 애로, 어떤 투표 제도도 불완전하다는 것 증명
18C 프랑스 두 수학자 보르다·콩도르세도 투표 공정성 보완 시도
다수결만이 정답은 아냐… 끊임없는 설득·타협이 민주주의 핵심

이번 총선에서 지역구 총득표율은 국민의힘과 더불어민주당이 각각 45.1%와 50.5%였지만, 의석수 차이는 컸다. 이는 선거 제도에서 기인한 것인데, 아마도 지지 정당에 따라 과연 이것이 공정한지에 대한 생각이 서로 다를 것이다. 이미 1951년 케네스 애로(Kenneth Arrow)가 어떤 투표 제도를 채택하더라도 공정성을 만족시킬 수 없다는 ‘불가능성 정리’를 발표한 바 있다. 그는 누구나 받아들일 수밖에 없는 공정성 원칙 다섯 개를 제시했는데, 그중 일부를 만족하도록 고안된 투표제는 다른 원칙을 위배할 수밖에 없음을 수학적으로 증명했다. 1972년 노벨경제학상을 받은 애로의 이 충격적인 논문으로 공정한 투표에 대한 선행 연구가 속속 알려지기 시작한다. 가장 대표적인 것이 18세기 동년배 수학자 보르다(Jean-Charles de Borda)와 콩도르세(Nicolas de Condorcet)의 대결이었다. 이처럼 투표가 다수 의견을 제대로 반영하는지에 대한 고민은 꽤 오랜 역사가 있다.

프랑스에 혁명의 기운이 다가오던 1784년 파리왕립아카데미에서는 투표 제도를 두고 논쟁이 벌어진다. 그 이유는 다름 아닌 회원 선출 방식에 대한 문제 제기였다. 기존 회원들이 신입 회원 후보를 두고 투표했는데 투표 방식에 따라 당선자가 달라질 수 있어 오래전부터 아카데미는 여러 연구를 하고 있었다. 7월 14일 학회의 실세였던 콩도르세가 투표의 공정성에 관한 책을 쓰겠다고 발표하자, 7월 21일 경쟁자 보르다는 자신이 1770년에 이미 써 둔 투표제 논문이 있다고 주장한다. 콩도르세는 일단 보르다의 주장을 받아들여 그의 논문을 먼저 출판해 주었다.

보르다는 9쪽 분량의 이 논문에서 3인 이상의 후보가 있는 경우 투표가 다수결 원칙에 위배될 수 있다는 점을 지적한다. A, B, C 세 후보가 각각 8표, 7표, 6표를 얻었다면 대개 다수 득표자인 A를 뽑게 된다. 그런데 만약 B, C 지지자들이 A가 절대 당선되어서는 안 된다고 생각했다면, 그 숫자가 13표로 과반이 넘는다. 즉, 과반이 싫어하는 후보가 당선되는 모순이 발생한다. 이를 개선하기 위해 보르다는 배점제를 주장했다. A 지지자들이 B와 C 중 누구를 더 선호하는지 순위와 점수를 매길 수 있고, B와 C 지지자들도 마찬가지이다. 이렇게 배점제를 실시해 점수가 높은 사람을 뽑으면 다수가 싫어하는 사람이 당선되는 일은 막을 수 있다고 보았다.

그래픽=이철원

그동안 콩도르세는 보르다 논문을 분석할 시간을 벌었다. 그리고 이를 자신의 책에 반영했다. 이렇게 무려 495쪽에 이르는 콩도르세의 대작 ‘다수결 확률 해석 시론’이 1785년 출판된다. 콩도르세 역시 다수 후보자가 출마할 때 문제점을 생각했다. 1인 1표제에서는 A에 투표한 사람들이 B와 C를 어떻게 생각하는지 알 방법이 없다는 것이다. 보르다는 배점제를 대안으로 제시했지만 콩도르세는 배점제 역시 문제가 있다고 봤다. 유권자 100명 중 1순위 A, 2순위 B, 3순위 C로 투표한 사람이 51명이고, 나머지 49명은 B>C>A 순으로 투표했다면, A가 이미 다수 과반수를 획득했지만 배점제로는 B가 최다점을 받을 수 있다. 그래서 콩도르세는 일대일 투표를 제안한다. A와 B, B와 C, C와 A를 각각 대결시켜야만 선호도가 제대로 드러난다고 보았다.

하지만 이 방식에도 문제가 있다. A를 B가 이기고, B를 C가 이겼다면, 당연히 C가 A를 이길 것 같지만, C가 A에게 질 수도 있다. 마치 가위, 바위, 보처럼 서로 맞물리며 승부가 나지 않는데, 이를 ‘콩도르세의 역설’이라고 부른다. 다만 이는 투표자 수가 많을수록 현실에서 일어날 가능성이 낮은 가설이다. 콩도르세는 자신의 책에서 스스로 이 모순을 드러내며 그럼에도 일대일 대결이 장점이 많은 최선이라고 주장했다. 모순이라고 표현한 만큼 다수결에 오류가 없다는 것보다는 다수 의견이 권위를 가지게 만드는 것이 더 중요하다고 보았다. 선출된 권력이 절차적 정당성을 확보할 수 있는 공정한 규칙이 무엇인지, 다수결에 의존하기보다 다양한 목소리를 어떻게 최대한 합리적으로 반영할지 최선을 다해 노력하는 것이 과학의 역할이라고 생각했다.

볼테르의 후계자로 불리던 콩도르세는 당대 최고의 수학자였을 뿐만 아니라 1789년 프랑스혁명을 이끈 사상가였고, 여성의 참정권과 노예 폐지를 주장하던 급진파였다. 혁명 후 콩도르세는 보르다와 함께 과학적인 도량형을 위해 미터법 제정을 강력히 추진했다. 그는 과학을 통한 인류의 진보를 믿었다. 하지만 당시 혁명가들이 철칙으로 믿고 있던 다수결에는 회의적이었다. 투표 방식에 따라 결론이 다를 수 있다는 것을 알았기 때문이다. 그의 우려대로 프랑스혁명은 과도한 평등사상으로 사사건건 표결로 결론 내려고 했다. 심지어 전투를 앞둔 병사들이 장교의 작전 명령을 투표에 부칠 것을 요구하기도 했다.

이러한 혁명의 광기는 혁명의 리더였던 그를 죽음으로 내몰았다. 1793년 공포정치가 시작되자 수많은 사람이 단두대에서 처형된다. 콩도르세가 이를 맹비난하자 즉각 체포 영장이 발부되었다. 삶이 얼마 남지 않았음을 직감한 콩도르세는 숨어 지내며 몇 달 동안 자신의 마지막 저작 ‘인간 정신의 진보에 관한 역사적 개요’에 몰두했다. 비참한 운명의 순간에도 그는 이 책에서 인류의 진보와 역사의 발전을 낙관했다. 1794년 체포된 그는 이송을 위해 임시로 갇힌 방에서 이튿날 죽은 채로 발견되었다. 콩도르세가 다수결의 위험을 지적한 것은, 많은 사람이 원한다고 반드시 정답이 아니듯이 내 주장도 정답이 아닐 수 있으니, 끊임없이 상대방을 설득하고 논쟁 속에 서로 타협점을 찾아내며 궁극적으로 다수의 지지를 끌어내는 연대의 정신이 민주주의의 핵심이라고 믿었기 때문이다.