[총선 여론조사 심층 검증] 총선 지역구 출구조사 2008년 이래 최대 오차…진보 과다, 보수는 과소 예측

━
SPECIAL REPORT - 이준웅의 총선 레이더
여론조사 때문에 두 번 속은 느낌이다. 지난 3월까지 뒤집기를 반복하는 초접전이라더니, 막상 공천 이후 조사결과에서 더불어민주당 후보들이 압도하는 양상을 보였다. 출구조사를 보니 과연 야당연합이 200석을 넘겨 개헌선을 돌파할지도 모르겠다 싶었는데, 막상 개표결과를 보니 또 그 정도는 아니었던 것이다. 이래서야 이긴 쪽도 진 쪽도 개운치 않다.

실로 1987년 체제를 근본적으로 바꿀 수 있겠다고 믿고 투표에 참여한 진보 유권자는 2020년 총선에도 미치지 못하는 결과를 보니 이겼지만 이긴 것 같지 않다. 반면 집권당이 참패하겠다는 판세분석을 접하고 결국 투표소에 갈 맘을 접었던 보수 유권자는 여론조사에 농락당했다고 느낄 수 있다. 애초에 이 정도 결과일 줄 알았다면 선거기간 동안에 말도 행동도 달리했으리라 생각하니 더욱 그렇다.

① 출구조사 정확도, 다시 2000년대로

그래픽=남미가 기자 nam.miga@joongang.co.kr

여론조사가 대혼란이다. 출구조사 결과만 봐도 실패가 명확하다. 1, 2위 후보를 예측한 값과 실제 득표율 간 차이를 각각 구해서 평균을 내어 보니 2.94를 기록했다. 〈그림1 참조〉 이는 2008년 이래 최대 규모의 오차다. 대통령 선거와 지방선거는 물론 총선에서도 꾸준히 정확도를 개선해 왔는데 이번에 오히려 뒷걸음질 쳤다.

오차의 규모도 문제지만 질이 나쁘다. 편향, 즉 오차가 쏠리는 방향을 보면 보수 정당 후보는 과소 예측하고 진보 정당 후보는 과대 예측하는 전형적인 양상을 보였다. 이 때문에 지상파 방송3사출구조사는 수도권과 부산·경남에서만 16개 지역구에서 민주당 후보가 이긴다고 했지만, 실제는 모두 국민의힘 후보가 당선된 결과가 되어 예측 실패를 범했다.

비례대표 정당투표에 대한 출구조사도 마찬가지다. 진보 정당 득표율을 과대평가하는 편향을 보였다. 조국혁신당을 실제보다 2.05%포인트 높게 예측했고, 국민의미래는 1.57%포인트 낮게 예측했다. 더불어민주연합에 대한 편향은 -0.49%포인트였다.

② 높은 사전 투표율, 지역에 따른 차별성

그래픽=남미가 기자 nam.miga@joongang.co.kr

투표율 변화로부터 이상 징후를 확인할 수 있다. 2014년 이후 증가하고 있는 사전투표율의 정도에 비해 전체 투표율의 증가세는 상대적으로 작았다. 〈그림2 참조〉 지난 총선 대비 사전투표율은 4.6%포인트 상승했지만, 전체 투표율은 0.8%포인트 증가하는 데 그친 것이다. 총선 당일에 시민적 의무감으로 투표에 참여한 유권자는 별로 증가하지 않았는데, 투표소에 나갈 시간과 비용을 따져가며 적극적으로 표를 던진 유권자는 상당한 규모로 증가했다고 해석할 수 있다.

그래픽=남미가 기자 nam.miga@joongang.co.kr

흥미로운 사실은 2022년 대선에서 윤석열 후보 득표율이 높았던 시군구에서 사전투표율의 변화가 두드러졌다는 것이다. 일단 전국 250여 개 시군구를 기준으로 2022년 윤 후보 득표율과 이번 총선 사전투표율 증감 간에 단순 상관관계는 +0.23으로 나왔다. 윤석열 후보의 득표율이 높은 지역에서 사전투표율이 높았던 것으로 해석할 뻔한 결과였지만, 이는 착시라고 할 수 있다 〈그림3 참조〉.

호남지역 시군구를 제외하고 다시 상관관계를 구하면 -0.67로 음(-)의 방향으로 나온다. 즉 2022년 윤 후보 득표율이 높았던 시군구에서 이번 총선에는 사전투표에 참여하지 않은 폭이 컸다는 뜻이다. 그림3에서 중앙 상단에 분포하는 점들이 주로 서울을 포함한 수도권 지역의 시군구들이고, 우하단에 분포하는 점들이 포항·경주·영주·청송 등 지역이다. 이번 총선은 사전투표가 이루어진 시점에서 이미 선거는 끝난 것이나 다름없었다고 볼 수 있는 결과다. 그림3에서 우하향하는 오렌지색 점들의 분포가 보수 유권자의 환멸을 증거한다.

③ 혼란이 난무했던 사전 여론조사

여론조사가 많다고 탓할 수 없다. 여론 정치는 민주정의 역동성을 구현하기 때문이다. 그러나 들쭉날쭉한 조사 결과가 난무하는 가운데 유권자가 특정 여론조사만 믿고 투표를 포기했다거나, 아니면 희망을 갖고 투표에 나섰건만 동료 시민들로부터 배신당한 느낌을 받았다면 이야기가 달라진다. 판세를 확인해서 투표의 가치를 따져보는 일은 민주 시민의 역량에 속한다. 그런데 혼란스러운 사전 여론조사 때문에 민주적 역량을 발휘하는 데 방해받았다면 어떻게 되느냐는 것이다.

그래픽=남미가 기자 nam.miga@joongang.co.kr

그림4는 여론조사에 민감한 현명한 유권자들이 머릿속으로 그려봤을 법한 총선 여론의 움직임이다. 응답률이 낮은 ARS(자동응답방식) 조사는 거르고 83개 전화조사 결과로 베이즈 추정(모숫값이 가질 수 있는 모든 가능성의 분포를 계산하는 작업)한 여론의 움직임이다. 평소 믿을만하다고 생각하는 언론사가 제공한 조사 결과와 더불어 생각은 달라도 존중할만한 보도를 하는 언론사의 판세 분석을 보면 이 정도가 됐을 것이다.

민주당 상대지지율은 2월부터 3월 초까지 하락했지만 이후 상승세를 타서 53%에 접근했다가, 4월 초에 다시 가라앉은 듯 보인다. 그러나 실제 여론이 이렇게까지 요동쳤다고 보는 게 옳을까. 지난 총선레이더에서 밝혔듯이, 유권자의 이념 성향, 여야 지지 성향, 그리고 정당 및 주요 정치인에 대한 충성도가 그림과 같이 몇 주 간격을 두고 등락을 거듭한다는 이론은 없다. 아마도 이런 등락은 당대 여론의 분위기에 따라, 조사대행사의 특성에 따라, 조사방법에 따라 여론조사에 대한 응답 경향이 달라지는 양상 때문에 나타난 현상일 것이다.

그림4는 ARS 조사결과를 제외하고 추정한 것이다. ARS 조사를 제외한 이유는 편향 때문이다. 여론조사심의위원회에 등록된 234개 전국조사자료를 가지고 분석해 보면, ARS 조사가 전화조사에 비해 민주당 상대지지도를 과대 추정함을 확인할 수 있다. 또한 이번 총선에서 전국조사를 가장 많이 한 조사대행사는 여론조사꽃인데, 총 36회 가운데 절반인 18회를 ARS 방식으로 조사했다. 따라서 여론조사꽃의 자료만 가지고 전화조사와 ARS 조사 간의 차이를 분석해 볼 수 있다. 민주당 상대지지도를 이용해서 분석한 결과, ARS 조사가 전화조사에 비해 민주당 상대지지도를 0.3%포인트 높게 추정했다.

실제 ARS 조사결과를 포함해서 분석하면, 여론의 움직임은 더욱 들쭉날쭉해 져서 아예 해석할 수 없을 정도가 된다. 그림4-1은 같은 베이즈 추정방법을 사용하되 ARS 조사결과를 포함해서 추정한 결과다. ARS 조사를 열심히 보면서 여론변화를 따라갔던 유권자의 마음이 얼마나 심란했을지 짐작할 수 있다.

④ 비례정당 득표율로 본 조사대행사 효과

여론조사의 부침을 설명하는 요인 중 하나가 조사대행사 효과다. 조사대행사에 고유한 정치적 배경과 그에 따른 방법론적 선택 때문에 여론조사 결과가 달라질 수 있다는 뜻이다. 선관위에서 계수한 비례정당 득표율 자료를 이용해서 사전 여론조사가 조사회사에 따라 달라지는지 알아볼 수 있다. 조사방법 등 여러 가외 요인들의 효과를 통제하기 위해, 총선 마지막 한 달 동안 2회 이상 전국 유권자를 대상으로 전화조사를 수행한 조사대행사만을 선정해서 분석대상으로 삼았다.

그래픽=남미가 기자 nam.miga@joongang.co.kr

그림5-1은 국민의미래에 대한 조사대행사별 사후예측의 분포를 제시하고, 그림5-2는 조국혁신당에 대한 사후분포를 제시한다. 사후분포에 95% 신용구간을 적용해 보아서 0점을 포함하지 않는다면 편향적이라고 판정한다는 기준을 적용하면, 조사대행사별로 예측편향의 방향과 규모가 달리 나타났다는 것을 확인할 수 있다. 여론조사꽃은 국민의미래를 과소 예측하고, 조국혁신당은 과대 예측하는 편향을 범했으며, 케이스탯리서치는 국민의미래를 과대 예측했다. 그런가 하면, 한국갤럽과 코리아리서치는 조국혁신당을 과소 예측하는 편향을 보였다. 그림으로 제시하지는 않았지만, 민주연합에 대해서는 메트릭스와 케이스탯리서치는 과소평가했고, 코리아리서치는 과대 예측하는 편향을 보였다.

조사대행사별 편향을 고려하면, 특정 조사회사의 조사결과만을 믿겠다며 그것만 집중해서 보는 일이 얼마나 위태로운지 알 수 있다. 특정 언론사가 제공하는 조사결과도 마찬가지인데, 언론사와 조사대행사 간에 협조를 넘어선 밀착관계를 맺고 있는 경우가 대부분이기 때문이다. 결국 편향적 조사결과에 농락당하지 않으려는 유권자로서는 해야 할 일이 많다. 여기저기 다수의 여론조사결과를 참조해서 이리저리 뜯어보고 비교하지 않으면, 편향된 여론 인식에 빠질 수 있기 때문이다.

⑤ 조사대행사 효과의 또 다른 사례

특정 조사대행사가 갖고 있는 이론적 가정, 방법론적 도구, 의뢰자 관계, 그리고 비용구조 때문에 조사결과가 달라질 수 있다는 점은 이미 알려져 있다. 그런데 조사대행사의 편향이란 새로운 문제를 제기한다. 조사방법이나 의뢰자 관계를 넘어서 뭔가 일관되게 한쪽으로 기우는 결과를 제시한다는 뜻이기 때문이다. 여론조사 결과가 일관되게 편향적이면 어떤 결과를 초래하는가.

그래픽=남미가 기자 nam.miga@joongang.co.kr

그림6-1은 총선 직전 수행한 22개의 전화조사 결과만 보더라도 특정 조사대행사들이 국민의힘 정당지지율을 낮게 기록할수록 조국혁신당에 대한 비례정당 투표율은 높게 추정했다는 사실을 보여준다(r=-0.79). 유권자로서는 이런 식으로 조사하는 대행사의 결과를 받아들고 같은 편이라면 안심하겠지만, 그 실력은 물론 진정성도 결코 신뢰할 수 없을 것이다.

그림4에 제시한 들쭉날쭉한 조사결과는 조사대행사에 따른 체계적인 편향을 반영할 뿐만 아니라 조사방법론에 따라서도 달라진다. 전화조사와 ARS 조사는 응답률에서 차이를 보인다. 이번 총선에서 전화조사 응답률 평균은 13.6%였고, ARS 조사의 응답률 평균은 3.6%였다. ARS 응답률이 낮을수록 민주당 상대지지율을 과대 추정한다는 결과를 얻었다(r=-0.18) 〈그림6-2 참조〉. 나는 이런 관계가 우연이 아니라고 믿지만, 여기에서 내 믿음이 중요한 건 아니다. 중요한 건 이런 조사결과를 보면서 투표장으로 갈지 말지 고민해야만 했던 유권자들의 그 복잡했던 마음이다.

이준웅 서울대 언론정보학과 교수