[폴리스코어] '응답률 0.37%' 여론조사 믿어야 할까? 함정에 빠진 여론조사들

[마부작침] 총선 여론조사 834개 전수 분석 해보니 자격 미달 '수두룩'

'응답률 7% 미만 여론조사 공표 않기로'

국내 주요 여론조사 회사 34곳의 가입 단체인 한국조사협회는 지난해 10월 22일 자체적으로 제정한 '정치 선거 전화 여론조사 기준'을 발표했습니다. 그중에서도 가장 눈여겨봐야 할 건 바로 응답률과 관련된 내용입니다.

전국 단위 조사에서 통신 3사에서 제공받는 조사 대상자의 지역, 성별, 연령대 등을 사전에 알고 하는 휴대전화 가상번호 방식의 경우는 응답률 10% 미만, 컴퓨터로 번호를 임의로 만드는 전화번호 임의걸기(RDD) 방식은 응답률 7% 미만은 공표 금지를 준수하겠다고 선언한 겁니다.

그간 낮은 응답률의 여론조사, 특히 ARS(자동응답조사)를 통한 여론조사 결과가 과학적 근거가 없으며 신뢰성이 떨어진다는 등 논란이 계속되다 보니 이 같은 지침을 마련한 겁니다.

이런 배경에 스브스프리미엄에서 제공하는 여론조사 서비스 <폴리스코어>도 '낮은 응답률'에 대한 문제의식을 갖고 응답률이 낮은 여론조사 결과에는 페널티(감점)를 부여하고 있습니다.

실제로 낮은 응답률은 조사 결과에 어떤 영향을 미치고 있을까요? 현재 중앙선거여론조사심의위원회(이하 여심위)에 공개되고 있는 여론조사 응답률을 분석해 보고 학계와 전문가들이 말하는 국제 기준 응답률(AAPOR)을 적용해 함께 살펴봤습니다.

결과는 어떻게 나왔을까요? 이번 주 폴리스코어는 총선 여론조사 결과를 전부 들여다봤습니다.
[ https://poliscore.premium.sbs.co.kr/ ]

[ https://poliscore.premium.sbs.co.kr/ ]

국내 여론조사 응답률… 국제 기준 아니다?

'응답률...?'

생각보다 여론조사 응답률의 정의를 물어보면 잘 모르는 분들이 많습니다. 응답률에 대한 정의부터 다시 한번 짚어보겠습니다.

응답률(response rate)을 떠올려 보면 여론조사에 응답한 자들의 비율이라고 생각할 겁니다. 쉽게 한번 생각해 보면 응답률 10%는 10,000명이 전화를 받았고, 그중에 1,000명이 조사에 끝까지 응하였다는 뜻이겠죠. 나머지 9,000명은 응답을 거절했거나 중간에 이탈한 자들일 겁니다. 여기까지만 보면 별로 어렵지 않은 개념이죠.

하지만 우리나라에서 부르는 이 응답률, 미국에서는 협조율(cooperation rate)이라고 부릅니다. 여론조사에 협조한 자들에 한해서 응답을 계산했다는 뜻입니다.

이 둘에 무슨 차이가 있을까요? 우리나라 응답률은 응답을 완료했거나, 거절했거나, 중간 이탈자 등 접촉(연락)이 이루어진 응답만을 분모로 가져갑니다. 즉 접촉이 되지 않은 표본, 비접촉자는 분모에 포함되지 않습니다.

쉽게 말해서 전화를 받지 않은 표본은 포함되지 않는 거죠. 하지만 미국 등 국제 기준에서는 '비접촉자'도 응답률에 포함시킵니다. 그런데 응답한 접촉자에 국한해서 응답률을 계산하면 결과에 큰 왜곡이 발생할 수 있습니다. 과연 접촉에 성공한 응답자만이 모집단을 대표하는 여론이라고 부를 수 있냐는 거죠.

여론조사가 발달한 미국에서는 우리나라에서 응답률이라고 부르는 협조율을 보조 수단 정도로 활용하는 수준이라고 합니다. 대신 미국에서는 비접촉자, 즉 응답하지 않은 표본까지도 분모에 반영해 응답률을 계산하고 있습니다.
 

국내 조사의 국제 기준 응답률 평균 2%... 함량 '미달'

국제 기준 응답률을 우리나라에 적용해 보면 어떨까요?

마부작침은 여심위에 올라온 2022년 4월 22일부터 2024년 1월 11일까지 여론조사 834개(웹/앱조사 제외) 결과를 수집해 국내에서 사용하는 응답률과 국제 기준을 적용한 응답률의 평균값을 각각 계산해 봤습니다.

우선 국내에서 사용하는 응답률(= 미국의 협조율)부터 보면 여론조사의 평균 응답률 7.2%입니다. 최소 응답률은 0.8%, 최대는 22%였습니다. 조사 방식별로 보면 무선 ARS의 평균 응답률은 3.35%, 전화면접은 13.7% 약 4배가량 차이가 나타납니다. 계속 논란이 되고 있는 무선 ARS의 응답률이 실제로 낮다는 걸 확인할 수 있죠. 글 첫머리에 한국조사협회에서 언급한 응답률 7%보다 아래인 여론조사 결과를 분석해 보면 총 561개로 전체의 67.3%가 공표금지 수준에 해당합니다.

그렇다면 국제 기준 응답률로 보면 어떨까요? 국제 기준 응답률은 국내에서 발표한 응답률에 접촉률을 곱해주면 간단하게 계산할 수 있습니다. 가령, 응답률이 10.4%이고 접촉률이 34.3%인 조사의 국제기준 응답률은 3.57%가 되는 거죠.

여기서 접촉률(contact rate)이란 여론조사를 위한 전화번호를 추출하는 방식인 유무선전화 RDD(Random Digit Dialing), 가상번호 등으로 뽑은 대상자 가운데 적격하다고 판단된 응답자들에게 접촉한 비율입니다. 쉽게 말해서 적격 응답자 중 조사에 성공한 비율이죠.

그런데 적격? 말이 다소 어렵죠. 쉽게 설명하면 여론조사 응답의 자격이 있는 샘플을 적격이라고 표현합니다. 따라서 결번, 팩스 번호, 사업체 전화번호 그리고 미성년자 등과 같은 경우는 적격이 아닌 비적격이 되며 제외합니다.

여론조사 결과 전체에도 이 기준을 적용해 계산해 봤습니다. 접촉률을 반영하니 응답률은 상당히 떨어집니다. 국제 기준 응답률의 전체 평균은 2.1%, 조사 방법별로 보면 무선 ARS는 1.1%, 전화면접은 4.19%로 역시 4배가량 차이 나는 걸로 분석됩니다. 응답률 전체가 떨어지더라도 조사 방법에 따른 차이에는 큰 변화가 없었습니다.

국제 기준 응답률로 볼 때 1% 미만인 조사가 수두룩합니다. 834개의 여론조사 중 396개(47.5%)가 국제 기준 응답률 1% 미만이었습니다. 한국조사협회의 응답률 7% 기준을 적용하면 834개 조사 중 단 한 건도 이를 충족시키지 못했습니다.

(남은 이야기는 스프에서)

배여운 기자 woons@sbs.co.kr