너무 낮은 응답률은 여론 왜곡할 수도
‘갤럽’과 ‘리얼미터’ 등 유명 여론조사기관들이 한 주 단위로 발표하는 대통령 국정수행 평가 조사는 특정 시점의 대통령 지지율을 알아볼 수 있는 방법 중에 하나입니다. 조사결과가 나올 때마다 지지 혹은 반대 입장에 따라 평가가 엇갈리는 가운데, 인터넷 커뮤니티 등에서 ‘최근 응답률이 너무 낮아서 조사 결과를 신뢰할 수 없다’는 주장이 나오고 있습니다. 뉴스톱이 확인했습니다.
응답률에 대한 착각
‘응답률’은 여론조사에 참여한 사람들 중에 응답을 거절하거나 중도에 포기하지 않고 끝까지 응답한 사람의 비율을 말합니다. 그런데 응답률에 대해 종종 착각을 하는 경우가 있습니다. 예를 들어 ‘1000명 표본에 응답률 3%였다’는 조사에 대해, ‘1000명의 3%=30명, 겨우 30명이 응답한 것을 신뢰할 수 있는냐’는 것입니다.
여기서 표본은 조사를 위해 접촉한 대상 수가 아니라 끝까지 응답한 사람의 수입니다. 예를 들어 ‘표본 1,000명, 응답률 10%’면 10,000명에게 설문 응답을 요청했고 그 가운데 1,000명이 끝까지 응답했다는 것을 의미합니다.
「선거여론조사기준」 제4조 6항은 여론조사 표본의 최소 수준을 규정하고 있습니다. 대통령선거 및 전국단위 조사는 1000명, 광역단체장 및 시·도 단위 조사는 800명, 국회의원선거 및 구·시·군 단위 조사는 500명, 지방의회의원선거 조사는 300명 이상의 표본으로 조사하도록 하고 있습니다.
이 때문에 전국 단위로 진행되는 대통령 국정수행 평가 조사는 최소 1000명 이상의 표본이 필요하고, 그 이상의 표본을 확보하기 위해 계속 조사대상과 접촉(대면, 전화 면접, ARS, 스마트폰 애플리케이션 등)하는 것입니다. 조사기관이 목표로 한 (최소 1000명 이상) 표본이 확보되는 시점에 따라 응답률이 달라집니다.
단, 일반적으로 전국 단위 전화조사에서는 무작위 생성한 전화번호를 이용하므로(RDD: Random Digit Dialing) 결번과 비수신은 제외하고 집계합니다.
"표본구성 잘 됐다면 문제없다" vs "너무 낮으면 여론 왜곡"
응답률은 계속 낮아지는 추세입니다. 선거 여론조사 응답률의 경우 2017년 대선 때는 17.0%, 2018년 지방선거는 10.2%, 2020년 총선은 9.1%로 나타났습니다.
응답률이 낮은 이유로는 정치혐오층의 증가, 자동응답(ARS)에 대한 거부감 등을 꼽고 있습니다. '이론적 혹은 교과서적으로 연령·성별·지역 등 표본구성만 잘 됐다면 큰 문제가 없다'는 주장도 있지만, 전문가들은 "너무 낮은 응답률은 여론을 왜곡할 수 있다"고 지적하고 있습니다.
조선일보는 2020년 4월 1일자 <100통 전화하면 3명 응답… 못믿을 여론조사>라는 제목의 기사에서 “총선 여론조사 2199개의 응답률 평균치는 9.1%였다. 이 중에서 전화 면접원 조사의 평균 응답률은 15.5%였고, ARS조사는 평균 응답률이 4.9%였다. 하지만 이 응답률도 국제 기준을 적용하면 실제보다 부풀려진 것으로 나타났다. (중략) 미국 등 국제 기준은 ‘전화를 했는데 아예 안 받은 접촉 실패 수’까지 분모에 포함해 계산한다. 이 기준으로 응답률을 계산하면 여심위에 등록된 총선 여론조사의 평균 응답률은 9.1%에서 3.1%로 뚝 떨어진다. 전화면접원 조사의 경우엔 평균 응답률이 4.7%, ARS 조사는 2.0%에 불과했다. 극소수의 적극적 정치 관심층만 여론조사에 응답했다는 뜻으로 해석된다.”고 보도했습니다.
중앙선거관리위원회 중앙선거여론조사심의위원회도 홈페이지를 통해 "현재 선거여론조사 등록제의 취지를 제고하기 위해 '접촉률(전체 응답 적격 대상자 가운데 접촉이 완료된 비율)'을 공개하고 있으며, 접촉률과 응답률(협조율)을 통해 국제기준(미국여론조사협회: AAPOR)의 응답률을 산출할 수 있다."고 공지하고 있습니다.
또, MBC는 2022년 5월 5일 <응답률 1% 여론조사‥믿을 수 있을까?> 기사에서 “응답률이 낮은 여론조사에는 공통점이 있습니다. 전화자동응답 (ARS) 방식을 사용하는 경우가 대부분입니다. 사람이 직접 질문을 하는 전화면접 방식과 달리, ARS 조사는 사전에 녹음된 기계음성이 들려오기 때문에 전화를 받은 사람들은 별 부담 없이, 편하게 거절할 수 있습니다. 전화를 받자마자 끊기도 하고, 한두 개 대답하다 중간에 끊어버리기도 합니다. 이런 ARS 조사에 끝까지 응답하는 사람들은 정치에 대한 관심이 높은 정치 고관여층이거나, 특정 정당·후보를 강하게 지지하는 경우가 많은 것으로 조사학계는 보고 있습니다.”라고 보도했습니다.
중앙선거여론조사심의위원회 위원장과 한국통계학회 회장을 지낸 김영원 숙명여대 통계학과 교수는 뉴스톱과의 통화에서, "응답률은 물론 접촉률도 고려해야 한다. 접촉률 곱하기 응답률이 1%이하라면 신뢰도가 높지 않다. 응답률이 높을수록 신뢰도도 높은 게 당연하다"고 말했습니다.
"지나치게 낮은 응답률을 끌어올려야 한다"는 건 전문가들의 공통된 제언입니다. 지난 5월 29일 중앙일보 보도에 따르면, 전문가들은 응답률 제고 방안으로 '최소 응답률 기준 도입', '여론조사 기관에 대한 품질 등급제 도입' 등을 제시했습니다. 이 같은 이유로 응답률 5% 미만 여론조사 공표 금지 선거법 개정안이 발의되기도 했습니다.
한편, 온라인에서 종종 등장하는 ‘일부 국가에서 응답률이 일정 수준 미만인 조사 결과는 발표하지 않는다’는 주장은 사실이 아닙니다. 조사 방식 차이, 통신 환경 차이, 여론조사에 대한 인식 등 국가별로 다른 부분이 응답률에 영향을 줄 수 있고, 응답률 산출 기준도 다를 수 있기 때문입니다.
정리하면, 한국의 여론조사 응답률은 낮아지고 있는 추세입니다. 전문가들도 낮은 응답률은 신뢰도에 문제가 있을 수 있다고 지적하고 있습니다. 여론조사가 여론을 왜곡할 수 있기 때문에 전문가들은 '최소 응답률 기준 도입', '여론조사기관 등급제 도입' 등을 제안하고 있습니다.
