비과학적이고 부정확한데 영향력은 크다?···지지도 부풀리는 여론조사

여론조사기관 한국갤럽이 지난 20~22일 유권자 1000명에게 조사한 정당 지지도를 23일 발표했다 한국갤럽

후보 지지도든 정당 지지도든 그 결과는 여론조사 기관마다 들쑥날쑥하다. ‘정당/국회’ 신뢰도는 낮은데 10명 중 6~7명꼴로 특정 정당을 지지한다고 결과가 나온다. 지지도는 ARS와 전화 면접 결과에 따라 다르고, 기관마다 다르다. 더불어민주당 지지도만 보면, ‘꽃’의 6월 3주 차 ARS 조사 결과는 51.1%, 2주 차 리얼리터 ARS 결과는 44.2%다. 3주 차 한국갤럽의 전화 면접 조사 결과는 34%다. 비슷한 시기 한 정당 지지도 간극이 17%가 나는 것이다. 언론은 이 결과를 그저 옮긴다.

여론조사 만능론이 퍼졌다. 정당 후보 공천부터 정부 정책까지 여론조사 결과에 영향받는다. 여론조사 기관 대표들이 특정 정당이나 대선 후보 캠프를 오가도 별문제도 되지 않는다.

여러 문제에도“여론조사 결과가 곧 여론”인 현실은 굳어진다. 기관 수도 5년 새 약 3.4배가 증가했다. 선거관리위원회 산하 여론조사심의위원회(여심위) 2022년 10월 기준 92개의 조사 회사가 등록했다. 여론조사 등록제가 시행된 2017년 5월엔 27개였다.

<한국의 여론조사, 실태와 한계 그리고 미래>(이갑윤 서강대 명예교수·이현우 교수·이지호 현대정치연구소 연구교수, 푸른길)는 현행 여론조사의 비과학성, 과도한 영향력, 부정확성 등을 비판적으로 점검한다. 언론에 가장 많이 보도되는 한국갤럽과 리얼미터 두 기관의 결과를 주로 분석한다.

저자들은 “과학적 여론조사의 특성인 표본추출과 설문 구성의 타당성”을 제대로 지키는지 살핀다. 우선 분석하는 건 여론조사에 협조하는 표본이 모집단을 제대로 대표하는지다. 즉 ‘응답 협조율’ 문제다.

전화 조사의 협조율(%). 푸른길 제공

저자들은 여론조사 응답 협조율의 마지노선을 20~30%대로 본다. 한국 ARS 조사 방식은 응답 협조율이 5% 안팎, 면접원 전화 방식은 10%대다. 5%로 가정하면 100명 중 95명이 답변을 거부한 것이다. 응답에 협조한 5명이 답변 거부자 95명의 평균과 유사한 정치적 정향을 가졌다고 보기는 어렵다고 저자들은 지적한다.

2022년 6월 25일 한국사회여론연구소(KSOI)의 조사 내용을 보면 응답률이 6.3%다. 1만5789명에게 접촉했다. 1만4788명이 거부했고 1001명 응답한 것이다. 이 수치를 두고 저자들은 “설문에 협조한 사람들은 평균적 시민들과는 달리 정치에 관심이 많은 정치 고관여 층이거나 특정 정치이념이 투철한 사람들이 아닐까 추측하게 된다”고 했다.

“응답률이 낮아지는 것의 문제는 정확히 말하면 표본 구성에 편향성이 생길 가능성이 커진다”는 것이다. 현행 여론조사 기관들은 할당표집 방식으로 표본을 구성한다. 전체 인구의 성별·나이·지역별 분포에 따라 표본 구성 분포를 맞추는 것이다. 서울 거주 20대 남성이 전체 인구 중 3.5%라면, 1000명의 응답 표본 중 35명이 할당된다. 즉 20대 남성 35명을 조사에 포함한다. 여론조사 기관은 낮은 응답률 때문에 할당을 채우지 못하면 가중값을 사용해 보정한다. “가중값이 커진다는 것은 해당 집단에 속하는 협조자를 찾기 어렵기 때문에 발생하는 것이며, 어렵게 구한 협조자들은 그 집단 평균과 큰 차이를 보일 가능성이 크다.” 이때 과대 대표되는 문제가 생긴다.

2021년 12월 4주 차 리얼미터 응답자 표본 분포표. 푸른길 제공

2021년 12월 4주 차 리얼미터 표본추출 분포표를 보면, 여성 응답자 빈도수는 1120명이다. 기준 빈도 1553명보다 적다. ‘경남권에 사는 20대 여성’ 가중값은 어떻게 될까? 성별 가중값은 1.39, 나이별 가중값은 1.4, 지역별 가중값 1.17이다. 저자들은 이 세 가중값을 곱해야 한다고 본다. 그 값은 2.28이다. 즉 “한 명의 응답자가 2.3명이 응답한 것으로 간주하게 된다”고 저자들은 지적한다.

저자들은 “현재 수행되는 대다수 조사가 표본의 대표성과 응답 측정의 적합성이라는 여론조사의 필수기준을 충족시키지 못하지 못하고 있음에도 현행 여론조사가 여론을 정확하게 반영한 것이라 여기는 조사 시장과 언론의 태도는 반드시 재고되어야 한다”고 했다.

한국갤럽과 리얼미티 정당 지지도 설문 내용. 푸른길 제공

책은 설문 문항의 타당성도 따진다. ‘지지 정당이 없다’는 무당층은 2023년 1월 2주 차 리얼미터 조사에서 10.9%, 갤럽 조사에서 25%로 나왔다. 1년 전 같은 기간 조사에서는 각각 11.8%, 19%였다. ‘지지 정당이 있다’는 사람이 80% 안팎인 셈이다. ‘정당/국회’ 신뢰도가 23.8%(한국보건사회연구원의 2019년 연구보고서)라는 점을 비교하면 현실을 반영하지 못한 수치로 볼 수 있다.

두 기관을 포함해 대부분의 한국 여론조사 기관들은 정당 이름을 열거하고, 마지막에 ‘지지정당 없음’을 선택지로 읽어주는 방식을 택한다. 논리적으로 ‘지지정당 없음’의 대응 선택지는 ‘지지정당 있음’이다. 저자들은 “지지정당이 있다는 응답자들에게만 그 정당이 어디인지를 추가로 묻는 순서로 설문들이 구성되어야 올바른 것”이라고 했다.

기관들은 ‘지지 정당 없음’ 응답자에게 어느 정당을 더 가깝게 느끼는지, 호감을 느끼는지도 다시 묻는다. ‘지지’보다 범위가 넓은 ‘호감’도 수치에 반영하는 것이다. 리얼미터의 경우 ‘지지 정당 유무’, ‘지지하는 정당’ ‘호감 가는 정당’이라는 세 가지 서로 다른 차원의 질문을 하나의 설문에 포함하다. 저자들은 “하나의 설문은 한 개의 질문만으로 구성되어야 한다는 조사 방법론의 원칙에 어긋난 것”이라고 말한다.

한국 여론조사 기관의 조사 방법은 정당 지지층 규모를 실제보다 과장하는 결과를 불러온다. 현대정치연구소는 2021년 9월 4주 차 조사 때 지지정당 유무를 물었다. ‘지지정당 없음’이라는 답한 무당층은 60.5%였다. 국가 승인 통계 결과물을 생산하는 한국행정연구원의 조사 결과와 비슷하다. 이 연구원의 2020년, 2021년 조사에선 ‘지지 정당이 있다’고 답한 응답자는 각각 41.5%, 39.6%다. 절반이 넘는 응답자들이 무당파로 분류됐다.

세 조사 기관의 무당층 비교. 푸른길 제공

현대정치연구소 조사 때 무당층 60.5%를 포함해 백분율로 계산하면 정당 지지도는 민주당 16.1%, 국민의힘 17.1%, 정의당 2.7%였다. 같은 기간 갤럽은 민주당 33%, 국민의힘 31%, 정의당 3%였다.

저자들은 ‘순수 무당층’이나 ‘당파적 유권자’의 실제 규모를 확인하는 게 중요하다고 말한다. “정당이 자신들을 실제로 지지하는 유권자의 수가 적다는 것을 인지한다면 안정적인 지지층을 확보하려고 노력할 것이고, 집권당이라고 해서 혹은 국회에서 다수 의석을 가졌다고 해서 독단적인 행태를 보이지도 못할 것이다.”

2021 년 9월 4주차 세 기관의 조사에서 나타난 정당 지지도 비교. 현대정치연구소는 ‘지지정당 유무’를 먼저 묻고 ‘지지정당 있음’이라고 답한 이들에게만 지지도를 조사했다. 그 결과가 1차다. ‘2차 포함’은 ‘1차 무당층’에게 다시 한번 정당 선호를 물은 결과를 반영한 수치다. 푸른길 제공

저자들은 현행 대통령 지지도 조사 방식 문제도 지적한다. 현행 조사 방식은 전체적으로 ‘잘함’과 ‘잘못함’의 응답 수치를 높이는 쪽으로 설계됐다. 리얼미터 경우 ‘매우 잘하고 있다’ ‘잘하는 편이다‘ ’잘못하는 편이다‘ ’매우 잘못하고 있다‘는 4단 척도를 사용한다. 긍·부정의 강한 태도와 온건한 태도를 포함한다. 저자들은 ’~하는 편이다‘라는 상대적 표현은 “유보적 태도를 줄이고, 전체적으로 ‘잘함’과 ‘잘못함’의 응답 수치를 높이는 효과를 가져온다”고 말한다.

긍정과 부정 항목 사이에 ‘보통’이라는 항목도 없다. 보통이 들어가면 긍정과 부정 평가는 ‘보통’ 항목이 없는 척도를 사용할 때보다 훨씬 많이 줄어들게 된다. 저자들은 “중간 항목의 배제는 긍정과 부정 평가의 수치를 늘리는 결과를 가져온다”고 말한다.

대통령 지지도와 정당 지지도가 실제 민심보다 과대 평가되는 게 문제라고 저자들은 지적한다. 이들은 “대통령 직무 평가와 정당 지지도 조사가 부실하게 수행되면, 조사가 여론의 비판 기능을 취약하게 만듦으로써 궁극에는 민주주의의 질을 떨어뜨리게 된다”고 했다.

책은 여론조사 여러 원칙도 짚는다. 문항 사용의 경우, ‘복지’라는 표현과 ‘가난한 사람들을 지원’이라는 용어에 따라 응답자들의 긍정 태도 비율이 달라진다. “객관적인 의미를 가진 ‘복지 확대’보다는 정서적인 표현인 ‘가난한 사람들을 지원한다’라는 표현에 사람들은 더 긍정적 태도를 보이는 경향이 있다.”

이들은 “설문 내용이 명확하고 구체적이어야 하며 동시에 응답자들이 선택할 수 있는 선택지들이 모두 포함되어야 한다. 하나의 설문 문항에는 한 개의 질문만 포함해야 한다. 부정적 표현을 사용하여 생기는 오해를 가급적이면 피하는 것이 바람직하다.”

연일 조사 결과를 쏟아내는 언론 보도 행태도 비판한다. 영국 BBC는 여론조사(특히 투표 의향 조사 결과)를 보도할 때 그 결과를 리드로 뽑거나 헤드라인을 달아서는 안 된다고 규정한다.

책은 퓨 리서치의 웹 조사 등 응답 협조율을 높이려는 해외 사례, 정치적 올바름 편항의 응답 문제 등도 분석한다.

김종목 기자 jomo@kyunghyang.com