'드루킹 특검' 여론조사 정반대 결과, 어느쪽이 믿을만한가
상태바
'드루킹 특검' 여론조사 정반대 결과, 어느쪽이 믿을만한가
  • 이고은 팩트체커
  • 승인 2018.04.28 00:46
  • 댓글 0
이 기사를 공유합니다

여론조사 신뢰도 문제제기에 대한 팩트체크
최근 여론조사를 둘러싸고 여러가지 논란이 제기되고 있다. 홍준표 자유한국당 대표는 미국에선 응답률이 낮은 여론조사는 폐기한다며 한국의 여론조사 결과에 대한 불신을 드러냈다. 또 여론조사 회사의 '드루킹 특검'에 대한 찬반 국민 여론이 천차만별로 나오면서 여론조사 신뢰도에 대한 의문이 제기되었다. 뉴스톱은 최근 불거진 여론조사 신뢰도 문제제기에 대해 팩트체했다. 

ⓛ'드루킹 특검' 여론조사 결과는 왜 다른가?

이른바 ‘드루킹’ 사건을 특별검사 수사에 맡기는 방안에 대한 여론조사가 기관별로 나오지만, 그 결과가 천차만별로 달라 논란이다. 여론조사 기관 리얼미터는 지난 23일 ‘드루킹 사건 수사주체에 대한 국민의식’이라는 여론조사 결과 “특별검사까지 도입할 사안은 아니며 검찰수사로도 충분하다”는 응답이 52.4%로, “검찰수사로는 부족하며 특별검사를 도입해야 한다”는 응답(38.1%)보다 오차범위 밖인 14.3%p 높게 나타났다고 밝혔다. 반면 여론조사공정(주) 같은 경우는 특검을 도입해야 한다는 응답이 63.3%, 도입에 반대한다는 응답이 30.9%로 집계됐다. 같은 사안에 대해 완전히 다른 결과가 나온 셈이다.

여론조사 기관별로 이렇게 들쭉날쭉한 여론조사 결과를 두고, 정치권에서는 여론조사 기관에 대한 질타도 이어지고 있다. 자유한국당 등 야권에서는 “특검 수사 대상에 여론조사 기관의 여론조작 의혹도 넣어야 한다”는 과격한 주장까지 나오고 있는 상황이다. 안철수 바른미래당 서울시장 후보는 지난 23일 “부실한 여론조사 회사는 여론조작의 공범”이라며 “특검 수사대상에 넣어 같이 수사해야 한다”고 밝히기도 했다. 일부 보수 언론은 "진짜 여론이 드러났다"거나 "리얼미터보다 표본 큰 공정 여론조사"라고 보도하기도 했다.

영향력, 외압 등 단어 사용...질문이 특정 답변 유도

그렇다면 같은 사안에 대한 여론조사 결과가 왜 이렇게 정 반대의 결과로 나왔을까. 여론조사 결과에 영향을 미칠 수 있는 요건은 여러 가지다. 질문 문항을 어떻게 설계하느냐, 조사 시점이 언제냐, 조사 방식은 무엇이냐 등 다양한 이유에 따라 그 결과가 달라질 수 있다. 두 여론조사 모두 조사 대상은 전국의 만19세 이상의 남녀로 같았고, 조사 방식은 유·무선 전화 자동응답조사가 대부분으로 이루어져 큰 차이는 없었다. 그러나 두 조사의 해당 여론조사 질문 문항에는 차이가 있었다.

출처 : 리얼미터

리얼미터의 경우 “최근 이른바 ‘드루킹 댓글조작 사건’에 대한 수사를 검찰이 해야 하는지, 아니면 특별검사를 도입해야 하는지를 둘러싸고 논란이 있습니다. 선생님께서는 이에 대해서 어떻게 생각하십니까?”라고 질문했고, 여론조사공정(주) 같은 경우는 “최근 민주당 당원 5명이 정부비판 댓글을 쓰고 추천수를 조작할 뿐만 아니라 김경수 의원을 통해 청와대에 인사 청탁까지 요구한 일명 ‘드루킹 사건’이 정치적으로 쟁점화 되고 있습니다. 정치적으로 영향력과 외압으로 부터 독립하여 객관적으로 공정하게 조사하기 위해 특검을 실시하는 것에 찬성하십니까? 반대하십니까?”라고 물었다.

출처 : 여론조사공정(주)

 

여론조사 질문에는 설문응답자의 답변을 유도할 수 있는 용어가 포함되어서는 안된다. 또 두가지 이상의 내용이 한 질문에 들어가서는 안된다. 리얼미터의 질문은 문제가 있다. 특검도입 여부 찬성 반대만 물으면 되는데 '검찰 조사로 충분' '검찰수사로는 부족'이라는 항목을 넣어 두개의 가치판단을 한 질문에 넣었다. 예를 들면 응답자가 검찰조사로 충분하다고 느끼지만 추가 의혹 해소를 위해 특검도입이 필요하다고 생각할 수도 있는 것이다. 

한편 여론조사공정의 질문 문장엔 '정치적 영향력, 압력, 독립, 객관적, 공정 조사' 등의 단어가 포함되어 있다. 질문 자체에 문제가 있다는 의미다. 특검 실시에 찬성하지 않으면 정치적 영향력을 묵인하고 객관적이고 공정한 조사에 반대하는 것으로 느껴져 찬성했을 가능성이 짙다. 리얼미터와 여론조사공정 둘다 문제가 있지만 왜곡 정도는 여론조사공정이 훨씬 심하다.

해당 여론조사가 이뤄지는 실제 방식에 대해서는 확인할 수 없었으므로 다른 변인이 여론조사 결과에 어떤 영향을 미쳤는지는 알 수 없다. 그러나 리얼미터는 드루킹 사건 자체에 대해 설명하지 않고 다소 건조하게 물은 반면, 여론조사공정(주) 같은 경우는 드루킹 사건을 부정적으로 설명하고 특검 실시가 긍정적인 것처럼 설명한 후 의견을 모았다는 점이 차이점이다. 이러한 질문 내용의 차이가 여론조사 응답에 영향력을 미칠 수 있다는 것은 추론 가능하다.

여론조사공정(주)은 2018년 1월 3일에 설립된 회사다. 홈페이지에는 회사가 실시한 어떤 여론조사 결과도 올라와 있지 않다. 리얼미터는 2007년 설립 이후 10년 넘게 언론사와 공동으로 설문조사를 진행해 왔다. 

②여론조사 낮은 응답률이 정말 문제가 되나

또 한 가지 쟁점이 되는 부분은 여론조사 응답률이다. 홍준표 대표는 지난 23일 자유한국당 당사에서 연 긴급 기자회견에서 “미국 같은 경우에는 여론조사 응답률이 30%가 되지 않으면 여론조사를 폐기한다”면서 “응답률이 최소한 10%가 되지 않으면 이를 공표하지 못하도록 입법화할 필요가 있다”고 주장했다. 홍 대표가 설명한 대로 미국이 여론조사 응답률 30%가 되지 않으면 폐기한다는 것은 사실일까.

그렇지 않다. 미국에서는 여론조사 공표를 제한하는 응답률의 기준 자체가 존재하지 않는다. 우리나라에서는 여론조사 결과를 공표할 때 응답률을 기재해야 하지만, 미국은 이를 공표하는 것이 강제사항이 아니다. 미국의 여론조사 협회(American Association for Public Opinion Research·AAPOR) 홈페이지에서 확인한 결과, AAPOR이 권고하고 있는 여론조사 공표 항목을 보면 응답률은 포함되어 있지 않았다.

AAPOR의 여론조사 공표 항목(Survey Disclosure Checklist)을 보면, 여론조사 스폰서 회사(Survey sponsor), 여론조사 데이터 수집 기관(Survey/Data collection supplier), 모집단(Population represented), 표본의 크기(Sample size), 데이터 수집 방법(Mode of data collection), 표본의 개연성 여부(Type of sample-probability/non-probability), 여론조사 수행 기간(Start and end dates of data collection), 표본의 오차한계(Margin of sampling error for total sample), 주요하위그룹의 오차한계(Margin of sampling error for key subgroups), 데이터 가중치 적용 여부(Are the data weighted?) 등을 기재할 것을 권고하고 있다.

출처 : AAPOR

응답률보다 샘플 표집 방식과 신뢰도가 중요

그렇다면 응답률은 무엇이고 어떤 의미일까? 응답률이란 여론조사를 위해 연락을 했을 때 이에 응한 사람의 수를 백분율로 말하는 것이다. 1만 명에게 전화해서 1000명이 응답했다면 응답률이 10%가 되는 것이다. 거꾸로, 여론조사의 응답률이 10%인데 응답자수가 1000명이라면 이 여론조사를 위해 총 1만 명에게 전화를 했다는 의미다. 앞서 언급했던 리얼미터의 경우 응답률은 5.2%, 응답자수는 500명이고 여론조사공정(주)의 경우 응답률은 6.7%, 응답자수는 1037명이다. 거꾸로 계산을 해보면 리얼미터는 여론조사를 위해 약 9500명에게 전화를 했다는 뜻이고, 여론조사공정(주)는 약 15300명에게 전화를 했다는 의미다. 홍 대표가 공표하지 못하게 해야 한다고 주장한 10%에는 모두 못 미친다.

여론조사 응답률이 낮다는 것은 결국 해당 표본 수를 채우기 위해 더 많은 전화를 돌려야 한다는 뜻이다. 여론조사의 신뢰도에 영향을 미치는 사안은 아니다. 신뢰도를 위해 더욱 중요한 것은 수집된 표본이 전체 집단의 대표성을 잘 보여줄 수 있느냐다. 표본수가 많다고 해서, 응답률이 높다고 해서 신뢰도가 꼭 높아지는 것은 아니다. 때문에 미국에서는 응답률 수치보다는 샘플의 표집방식을 중요하게 여기며, 우리나라처럼 응답률이 여론조사의 품질을 결정한다고 여기는 것에는 오해가 있는 셈이다. 참고로 드루킹 관련 두 여론조사의 표본오차는 리얼미터의 경우 95%신뢰수준 ±4.4%p, 여론조사공정(주)의 경우 95%신뢰수준 ±3.0%으로 모두 높았다.

출처 : 퓨리서치센터(Pew Research Center)

여론조사 응답률이 낮아지는 것은 전 세계적인 추세다. 미국 최대 여론조사기관인 퓨리서치센터(Pew Research Center) 통계를 보면 1997년 36%였던 전화여론조사 응답율은 차차 줄어들어 2012년 9%로 급격히 낮아졌음을 확인할 수 있다. 휴대전화의 스팸 등이 기승을 부리는 상황에서 이 같은 현상은 자연스러운 것으로 보인다. 다만 이렇게 응답률이 낮아지는 것이 신뢰도와 큰 상관관계가 있는 것은 아니지만, 응답률이 낮아짐에 따라 비용이 더 든다는 문제점은 있다. 여론조사의 신뢰도를 위해서는 일정 수의 표본이 수집되어야 하는데, 그 표본을 얻기 위해서는 계속 전화를 해야 하기 때문에 시간과 비용의 문제가 발생하는 것이다.

이고은   freetree@newstof.com  최근글보기
2005년부터 경향신문에서 기자로 일하다 2016년 '독박육아'를 이유로 퇴사했다. 정치부, 사회부 기자를 거쳤고 온라인 저널리즘 연구팀에서 일하며 저널리즘 혁신에 관심을 갖게 됐다. 두 아이 엄마로서 아이키우기 힘든 대한민국의 구조적 모순에 대해 알리는 일에도 열의를 갖고 있다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.
주요기사