지지율 제각각 총선 여론조사, '표집오차' 때문이다?[팩트체크]

정치 관여도 높을수록 과표집…편향 가능성

요일·시간대별 응답자 연령·계층 '쏠림세'도

표본 크기, 신뢰수준 확보하면 최소규정 충분

"여러 변수에 결과 상이…맹신 아닌 참고해야"

[이데일리 김범준 기자] 선거철이면 수많은 여론조사 결과를 놓고 신뢰성 논쟁이 되풀이된다. 과거에는 유·무선전화 조사 방식에 따른 논란이 컸다면, 최근에는 표본 성향·질문 방식·요일 및 시간대 등도 ‘표집오차’를 유발하는 변수로 지목을 받는다. 선거여론조사에서 특정 정당과 후보 지지율 결과를 뒤집을 정도의 표본 ‘편향(bias)’일까?

제22대 국회의원 총선거가 한 달여 앞으로 다가온 지난 11일 서울 종로구 서울시선거관리위원회 외벽에 투표 독려 홍보 현수막이 게시돼 있다.(사진=방인권 기자)

‘정치 高관여’ 지지층은 여조에 적극…표집 반영 높아

4·10 국회의원 총선거를 앞두고 특정 정당과 후보(예비후보 포함)의 지지 성향 등을 묻는 선거여론조사들로 하루에도 여러 번 휴대전화가 울려댄다. 낮이건 밤이건, 주중이든 주말이든 가리지 않는다. 정당과 언론사 등에서 의뢰를 받은 수많은 여론조사 업체들이 곳곳에서 후보자 공천·경선·본선 등을 앞두고 집중적으로 표본(샘플)과 응답을 확보하느라 그렇다.

중앙선거관리위원회(선관위) 산하 중앙선거여론조사심의위원회(여심위)에 현재 정식 등록된 여론조사기관 수는 현재 61곳이다. 미등록 업체들까지 포함하면 수백 곳에 이르는 것으로 알려진다. 여심위에 따르면, 올 들어 지난 1월1일부터 이달 15일까지 ‘제22대 국회의원선거’ 관련으로 등록된 선거여론조사 결과만 754건에 달한다. 75일간 하루 평균 10건꼴이다.

선거철 쏟아지는 전화면접(CATI) 또는 자동응답시스템(ARS) 여론조사 홍수 속에서 표본 선정(표집) 대상이 되는 유권자들은 크게 두 가지 반응을 보인다. 특정 정당·후보 지지를 위해 적극 전화 여론조사에 응하거나, 피로감에 거부하거나.

이렇듯 ‘정치적 관여도’가 높을수록 표집이 될 가능성이 높기 때문에 실제 모집단의 표심과 일부 다른 분포를 보일 수 있다. 흔히 중도층 혹은 무당(無黨)층으로 불리는 ‘스윙보터(부동층)’의 여론조사 참여율에 따른 편향도 존재한다.

예를 들면 한국갤럽이 지난 8일 발표한 3월 첫째 주(5~7일) 전화조사원 인터뷰(CATI) 전국 정당 지지율은 국민의힘(37%)이 더불어민주당(31%)보다 약 6%포인트 높은 것으로 나타났다. 무당층은 17%로 집계됐다. 반면 친야 성향 방송인 김어준 씨가 운영하는 ‘여론조사꽃’이 지난 8~9일 실시한 CATI에선 민주당(42.8%)이 국민의힘(33.9%)에 약 9%포인트 앞섰다. 서로 약 15%포인트의 격차를 보인 것이다.(표본오차 95% 신뢰수준 ±3.1%포인트. 자세한 사항은 중앙선거여론조사심의위원회 홈페이지 참조)

이준웅 서울대 언론정보학과 교수는 “일단 모든 조사에 수반하는 무작위적 ‘오차변량’을 고려해야 한다. 표집오차뿐만 아니라 조사회사가 범하는 오차들도 더해야 한다”면서 “마음이 바뀌지는 않을망정, 행동은 미묘하게 달라질 수 있다. 정치 지식수준이 높은 집단의 정당별 메시지에 대한 수용과 지지의 격차가 차이를 만들어 낼 수도 있다”고 봤다.

(자료=한국갤럽)

(자료=여론조사꽃)

할당표집 ‘가상번호’도, ‘요일·시간대’도 표집오차 수반

최근 여론조사는 기존 무작위 전화 걸기(RDD) 방식 외에도, 이동통신사업자로부터 ‘지역·연령·성별’ 정보만 있는 비식별화 ‘가상번호(안심번호)’를 제공 받아 활용하는 방법도 늘고 있다. 선거구별 유권자 분포에 맞춘 할당표집이 더 유리하기 때문이다. 하지만 여기에도 표집오차에 따른 왜곡 요소는 존재한다.

우선 알뜰폰(MVNO) 사업자는 이통사에 해당하지 않아 선거여론조사를 위한 가상번호 표본에서 제외된다. 국내 알뜰폰 가입자 수는 지난해 7월 기준 1500만명을 넘어섰다. 알뜰폰 주 이용자인 청소년·주부·노년·취약계층의 여론이 덜 반영될 확률이 크다.

여론조사 ‘시간대와 요일’도 특정 계층과 직업군의 ‘쏠림세’가 발생할 수 있는 변수로 꼽힌다. 주중 평일 주간 시간대에는 상대적으로 직장에 다니는 근로자들과 버스·택시·택배 등 운수업 종사자들의 전화 응답률은 떨어지는 반면, 자영업자·주부·은퇴층의 응답률은 높은 것으로 나타나기 때문이다. 최근에는 평일 야간 시간대나 주말에도 일부 선거여론조사가 이뤄지기도 한다.

이 교수는 “모집단에 접근할 수 있는 전화번호 표집틀을 잘 규정하고 통신사 안심번호를 사용해서 무작위 표본까지 잘 뽑았다고 하더라도, 통화 시간대가 한낮이라서 직장생활을 하는 젊은 유권자와 통화가 이루어지지 않을 수 있다”면서 “여론조사 표집 및 추론 과정 중에 특정 후보자와 정당을 지지하는 데 영향을 미치는 ‘비무작위 교란 요인’이 개입하지 않도록 조심해야 한다”고 짚었다.

실제 2016년 트럼프 미국 대통령 당선 당시 선거 예측이 실패한 이유로, 여론조사에서 이른바 ‘샤이 트럼프’로 불리는 저학력 백인 노동자 집단을 제대로 접촉하지 못한 점이 꼽힌다.

여심위 등록 여론조사기관 조원씨앤아이 김대진 대표는 “기관의 성향에 따라, 혹은 특정 세력 지지가 알려질수록 반대쪽 응답 거부가 많아지면서 결과가 편향성을 가지는 ‘하우스 이펙트(house effect)’도 발생한다”면서 “일부러 의도한 게 아니더라도 조사 환경과 여러 변수에 의해 결과가 달라질 때도 있다”고 말했다.

(그래픽=문승용 기자)

최소 표본, 대표성 왜곡 우려?…신뢰수준 확보하면 충분

다만 전문가들은 표본의 크기에 따른 모집단 대표성 왜곡 가능성에 대해선, 일정 수준의 표본오차 신뢰수준을 확보하면 통계적으로 무리가 없다고 말한다. 공직선거법상 선거여론조사기준에 따르면, 표본의 최소 수준은 대통령 후보 또는 전국적 정당 지지도의 경우 1000명, 광역자치단체장 및 시·도 단위 800명, 지역구 국회의원 선거 및 구·시·군 단위 500명으로 규정하고 있다.

이계오 한국갤럽 자문교수와 이기재 한국방송통신대 교수는 공동저서 ‘여론조사의 이해’에서 “표본 크기가 200만명이라고 하더라도 오차는 생길 수 있다”며 “대개 조사기관들은 표본 크기를 약 1000명으로 해 95% 신뢰수준에서 오차한계를 ±3.16%포인트 정도로 하고 있는데, 대단히 엄밀함을 요구하고 있지 않는 한 이 정도의 정확성이면 충분한 것으로 간주하고 있다”고 설명한다.

유권자의 표심에 영향을 미칠 수 있는 선거여론조사는 최대한 오류를 줄이기 위해 의뢰자의 의도, 이를 수행하는 조사기관의 표집법, 이를 인용·해석해 보도하는 언론에 높은 중립성과 객관성이 요구된다. 이를 받아들이는 유권자 입장에서도 특정 여론조사와 보도가 마치 정답인 것 마냥 맹신하지 말고, 경계심을 가지고 여러 조사 결과를 비교하며 참고 자료 정도로 이해할 필요가 있다.

여심위가 발행한 ‘2022년 양대선거 선거여론조사 백서’ 위원으로 참여한 이상일 케이스탯컨설팅 소장은 “지역·성별·연령을 구분한 가상번호 활용 여론조사는 표본추출의 정밀성을 향상시켰고 응답률을 높이는 데도 상당한 효능이 있는 것으로 드러났다”고 진단했다.

그러면서도 그는 “특정 시기 특정 지역에만 집중되는 여론조사 횟수를 제한하고, 일정 기한을 설정한 유권자들의 ‘번호 제공 거부-재포함’ 장치가 마련될 필요가 있다”며 “‘정치여론조사’가 사회적 문제가 된다면 담당 조직을 신설하거나 선거여론조사의 범위 규정을 국회가 재정비해야 한다”고 제언했다.

[검증결과]

여론조사는 여론이 아니다. 모집단과 표본 사이 정량 요소를 잘 갖췄어도, 여러 정성적 변수에 따른 표집오차 등 한계는 분명히 있다. 이에 꾸준한 자율규제와 외부통제도 필요하다. 따라서 ‘선거여론조사에서 표집오차에 따른 결과적 편향성이 있다’는 ‘절반의 사실’로 판정한다.