[한규섭 칼럼]‘기록’에 기반한 여론조사업체 등급제를 제안한다

실제 선거 결과와의 오차-안정성 반영 필요
등급 부여하고 계속 기준 이하 땐 조사 제한
‘전문가위원회’ 구성보다 공정성 담보 가능

한규섭 객원논설위원·서울대 언론정보학과 교수

최근 명태균 씨로 인해 여론조사 문제가 화두다. 필자가 교수 생활을 시작했던 미국 로스앤젤레스에서는 모든 식당의 ‘위생 등급제’를 실시, A∼D등급으로 분류해 입구에 공지하며 주기적으로 업데이트한다. 미국 ABC의 데이터 저널리즘 사이트 ‘파이브서티에이트’에서는 과거 선거에서의 예측력 등에 기반해 모든 여론조사 업체를 4개 등급으로 분류한 후 공개한다. 철저히 ‘기록’에 기반해 조사업체 등급을 부여하고 계속 기준 이하의 등급을 받게 되면 일정 기간 정치 여론조사를 못 하게 하는 ‘조사업체 등급제’를 제안한다. 물론 여론조사 공표 시 등급을 기사에 명시하는 것도 의무화해야 한다.

등급 결정은 철저히 ‘기록’으로 해야 한다. 일각에서는 업체 평가를 위한 ‘전문가 위원회’ 구성을 주장한다. 난센스다. 그 어떤 세계적 석학도 선거 전에 해당 업체의 방법론이 어떤 비표본오차를 보일 것인지 확신할 수 없다. 그런 능력이 있다고 주장하는 전문가가 있다면 100% ‘꾼’이다. 지난 총선 당시 ‘73억 원짜리’ 지상파 출구조사도 신뢰 구간을 기준으로 최소 3석(KBS)에서 최대 9석(MBC)까지 벗어났다. 신뢰 구간 중간을 기준으로는 10석 차이였다. 비표본오차 예측은 그만큼 어렵다. 매번 국내 최고 ‘전문가’들이 나서지만 2000년 16대 총선 이후 7번의 총선에서 21(3사×7회)분의 2의 참담한 성공률이 전문가들의 ‘기록’이다.

등급 평가에는 특히 해당 업체의 두 가지 ‘기록’이 반영돼야 한다. 우선 최근 선거에서 보인 실제 선거 결과와의 오차가 가장 중요한 기준이어야 한다. 유일한 ‘참값’이기 때문이다. 이런 기준이 적용되면 지난 4·15총선에서 야권 후보 지지율 과대 추정 폭이 커 논란이 됐던 친야 성향의 방송인이 운영하는 모 업체는 낮은 등급을 받을 가능성이 높다. 반면 같은 업체가 선거 결과를 제대로 예측한다면 운영자가 누구든 높은 등급을 받는 것이 당연하다. 조사 결과를 등록한 기록이 별로 없는 업체는 낮은 등급을 부여하면 된다. ‘업력’ 없이 높은 평가를 받는 업계는 없다. 만약 명 씨가 운영했다고 여겨지는 업체가 결과등록 의무가 없는 비등록 조사를 주로 했다면 낮은 등급을 받을 것이다.

응답률이나 특정 조사 방식을 기준으로 삼는 규제는 정치적 중립성 논란이나 특정 업체들과의 유착 논란에서 자유로울 수 없다. 진영과 업체에 따라 유불리가 갈릴 텐데 응답률이 높다고 반드시 비표본오차가 줄어드는 것도 아니기 때문이다. 심지어 이 둘 간의 상관관계에 대한 해외 연구의 일관성이 높지 않다. 필자도 2016년 총선부터 모든 선거 여론조사를 분석해 왔지만, 선거 환경에 따라 응답률이 높은 전화 면접조사의 오차가 상대적으로 작았을 때도, 반대였을 때도 있다. 가령 4·15총선에서는 전화 면접조사와 저렴한 자동응답(ARS) 조사의 차이가 거의 없거나 오히려 면접조사가 조금 더 컸다. 문재인 대통령 지지율 조사를 분석해 보면 전화 면접조사는 80%가 넘는 지지율을 보이기도 했는데 ARS보다 10%포인트 이상 높은 수치였다. 박근혜 전 대통령 탄핵 여파로 ‘샤이 보수’ 현상이 남아 있어 오히려 면접조사에서 비표본오차가 더 컸던 것이다. 조사 방식과 상관없이 ‘기록’이 나쁘면 낮은 등급을 주면 된다.

다른 한 기준은 해당 업체 조사 결과의 ‘안정성’이 돼야 한다. 필자의 경험에서 보면 선거 때마다 특정 후보의 지지율 급상승, 단일화 추진 등 결정적 시점에 평소와 상당히 다른 조사 결과를 내놓은 업체들이 있었다. 2017년 대선 때는 안철수 후보 지지율이 급상승해 문재인 후보와 거의 동률이라는 결과들이 나오던 시점에 갑자기 두 후보 지지율 격차를 14.7%포인트로 발표한 곳이 있었다. 또 지난 문재인 정부 때는 모 업체가 여야 정당 지지율 격차가 오차범위 내로 줄었다고 발표했다가 이해찬 총리의 언론 인터뷰 이후 차주에는 10%포인트 이상 급증한 결과를 발표해 논란이 되기도 했다. 의도성과 무관하게 이런 불안정성은 당연히 등급 평가에 반영돼야 한다. 중요한 ‘기록’이기 때문이다.

이것으론 부족하다. 모든 등록 조사의 원자료는 물론이고 통화 시도 기록을 10년 정도 보관하도록 의무화해야 한다. 실제로 응답 데이터 파일만 보고 조작 여부를 판단하는 것은 불가능하다. 이 수준의 투명성 담보가 어려운 업체라면 정치 조사를 안 하면 된다.

여론조사를 규제한다면 철저히 ‘기록’에 기반한 등급제를 제안한다. 공정성 담보를 위해서다. 전문가 위원회는 ‘기록’의 대체재가 될 수 없다. 올림픽 마라톤에 출전할 선수는 ‘전문가 평가’가 아닌 ‘기록’으로 뽑는 게 당연하다. 여론조사도 마찬가지다.

한규섭 객원논설위원·서울대 언론정보학과 교수