"같은 주제로 한 여론조사가 기관마다 결과에 차이가 나는 이유는 무엇인가요?

 

 

 

 

티브릿지가 여론조사 강의를 진행할 때 종종 받는 질문 중 하나입니다. 실제로도 해당 시기에 사회적으로 관심이 있는 중요한 이슈에 대해 여러 조사기관이 동시에 결과를 발표하는 경우가 종종 있으며, 이 때 결과에 약간의 차이가 나타날 때도 있습니다. 이런 차이로 인해 여론조사 결과에 대한 신뢰도가 낮다고 말하는 사람들도 있습니다.

 

 

 

 

2019년에는 문재인 대통령이 조국 민정수석비서관을 법무부 장관으로 임명한 후 뜨거운 찬반논란이 있었습니다. 위 그래프는 세 개의 여론조사 기관이 하루 간격으로 발표한 결과를 보여주는데, 약간의 차이가 있음을 볼 수 있습니다. 한국리서치 조사에서는 조국 법무부 장관 임명에 반대하는 응답이 찬성보다 10.9%포인트 높게 나타났습니다. 리얼미터와 리서치뷰 조사에서는 오차범위(500샘플 기준 ±4.4%포인트, 1000샘플 기준 ±3.1%포인트)를 고려하여 찬반 의견이 매우 균형있게 분포한 것으로 분석되어야 합니다.

 

이러한 차이는 왜 발생할까요?

 

먼저 조사 방법을 살펴봅시다.

조사 방법은 전화 면접, ARS 등을 포함합니다. 세 기관의 조사 방법이 모두 다르다는 점을 알 수 있습니다. 한국리서치는 전화 면접, 리얼미터는 전화 면접과 ARS를 혼합, 리서치뷰는 ARS 방식으로 조사를 진행했습니다. 전화 면접은 조사원이 응답자와 직접 대화하면서 진행하는 방식이고, ARS는 전화를 받으면 미리 녹음된 음성이 플레이되는 방식입니다. 이러한 방법 차이가 결과에 어떤 영향을 미칠까요?

 

 

 

 

예를 들어, 저는 조국 법무부 장관 임명에 대해 별 관심이 없는 사람이라고 가정해봅시다.
전화가 와서 받습니다. "안녕하세요? 저는 여론조사 전문기관 티브릿지의 조사원 OOO입니다"라고 인사합니다. 저는 여론조사에 응하고 싶지 않은 마음이 있습니다. "아, 괜찮습니다"라고 대답하거나 "시간이 없어서요"라고 말할 것입니다. 경험이 풍부한 조사원이라면 이에 포기하지 않고 "1~2분만 시간을 내주시면 충분합니다"라고 설득할 것입니다. 이렇게 되면 저는 참여를 꺼리는 마음이 약해져 조사에 참여하게 될 것입니다. 하지만 사회적 이슈에 별로 관심이 없는 저는 조국 법무부 장관 임명에 관한 질문에 대해 "잘 모르겠어요"라고 대답하게 될 것입니다. 한국리서치 조사에 참여한 응답자 중 17.4%가 저와 비슷한 입장일 것입니다.

 

반면 ARS는 어떨까요? 전화를 받으면 그냥 끊어버리면 됩니다. 정치나 사회적 이슈에 관심이 없는 사람은 대부분 조사에 참여하지 않을 것입니다. 정치에 관심이 있는 사람들이 대부분 ARS 조사에 응답하는 경향이 있습니다. ARS 방식에서는 무응답(모름) 비율이 전화 면접 방식에 비해 훨씬 낮습니다. 예를 들어, ARS 비율이 90%인 리얼미터 조사에서 무응답 비율은 3.2%이고, ARS 비율이 100%인 리서치뷰에서는 2.1%입니다.

 

 

 

 

표본추출틀도 중요한 역할을 합니다.
유선 및 무선 전화 RDD, 가상번호 등을 표본추출들이라고 부릅니다. 예전에는 유선 전화와 무선 전화의 비율을 일정한 범위 내에서 혼용하는 것이 일반적이었습니다. 유선 전화 응답자와 휴대전화 응답자의 성향이 다소 다르다고 판단되기 때문입니다. 유선 전화 응답자는 자영업자나 집에서 시간이 많은 은퇴자, 주부 등의 비율이 높아 상대적으로 보수적인 성향의 계층으로 분류되었습니다. 따라서 선거 여론조사에서 보수 진영 후보에게 유리한 결과를 얻기 위해 유선 전화 비율을 높이는 것이 필요한 경우도 있었습니다.

 

하지만 현재는 휴대전화 보급률이 95%를 넘어선 100%에 가까운 수준입니다. 특별한 경우가 아니라면 대부분의 사람들이 휴대전화를 사용하고 있으므로 이제는 유선 전화 조사를 따로 포함할 필요가 없어졌습니다. 오히려 표본의 대표성 측면에서는 휴대전화 100% 조사가 민의를 더 정확하게 반영한다고 생각됩니다. 그래서 티브릿지는 정치, 사회, 선거, 정책과 관련된 여론조사에서는 주로 휴대전화 조사 방법을 사용합니다.

 

또한, 질문지의 구성이나 문항의 순서, 조사 시간 등도 결과에 영향을 미칠 수 있는 요소입니다. 이러한 설계나 방식에 따라 여론조사의 품질과 결과의 신뢰도가 영향을 받을 수 있습니다. 따라서 여론조사 관련 보도를 볼 때는 조사 방법, 표본 추출 방식, 설문 조사 디자인 등 결과의 배경을 정확히 살펴보는 것이 중요합니다. 숫자로 표현된 여론을 이해하는 능력이 점차 강화될 것이라 믿습니다.

 

 

사람들의 생각을 똑바로 읽고 정확하게 해석하기 위해 노력하는 회사

여론조사 & 데이터 컨설팅 전문기관 <티브릿지>였습니다.