총선 판세 여론조사 ‘비싸면 예측도 정확’할까

[단독] ‘여론조사꽃’ 경기도 판세 조사 절반, 민주당 공천파동 이전 실시됐다

인터넷방송 <김어준의 겸손은 힘들다 뉴스공장> 진행자 김어준씨가 3월 11일 그가 대표로 있는 ‘여론조사꽃’이 조사한 경기도 판세조사 결과를 공개하고 있다. /유튜브 캡처

[주간경향] “전체적으로는, 이 추세대로면 지난 총선보다 경기도에서 민주당이 더하겠는데? 판이 뒤집혔다면서? 판이 안 뒤집혔어요.”

지난 3월 11일 유튜브 방송 <김어준의 겸손은 힘들다 뉴스공장>(이하 ‘뉴스공장’)에서 방송인 김어준씨는 이렇게 단언했다. 김씨가 “판이 안 뒤집혔다”며 근거로 제시한 것은 자신이 대표로 있는 여론조사기관 ‘여론조사꽃’(이하 ‘꽃’)의 ‘경기도 56개 선거구별 판세 조사’ 결과다.

이날 확정된 경기도 선거구는 60개지만, ‘꽃’의 결과는 조사 당시 선거구가 확정되지 않은 화성시 3개 선거구 등을 뺐다. 방송에서 공개된 ‘꽃’의 조사 결과에 따르면 조사가 이뤄진 56개 선거구 중 더불어민주당이 뒤지는 선거구는 성남 분당을, 동두천시·연천군, 포천시·가평군, 여주시·양평군 등 4개뿐이다.

‘민주당 압승’ 경기도 판세 조사, 맞을까

2020년 치러진 21대 총선에서 국민의힘 전신인 미래통합당은 경기도 7개 지역구에서 이겼다.

‘꽃’의 이번 조사 결과에 따르면 미래통합당 후보가 당선됐던 용인시갑, 평택시을, 이천시, 분당갑 그리고 심상정 의원의 지역구인 고양갑까지 민주당이 강세다. 여론조사 전문가들은 어떻게 볼까. 이날 방송에 패널로 참여한 컨설팅업체 ‘주식회사 박시영’ 박시영 대표도 “일단 이 자료만 놓고 보면 경기도는 민주당이 압승할 것으로 보인다”고 주장했다.

그러나 대다수 여론조사기관의 전국 단위 조사 추세는 다르다. 중앙선거여론조사심의위원회(여심위)는 지난해 10월부터 ‘전국단위 선거 여론조사 결과의 주요 데이터’를 공개하고 있다. 여심위에 등록된 각 여론조사 기관의 전국단위 정당 지지율 수치를 한데 모아 요약해 보여준다. 여심위가 공개하고 있는 3월 1주차 각 기관의 정당 지지율을 보면 전국단위에서 국민의힘이 경합우세로 앞서는 곳이 많다. 2월 5주차 데이터와 비교하면 기관별로 민주당의 지지율 하락과 국민의힘 지지율 상승이 교차하는 조사 여럿이 눈에 띈다. 그런데 ‘꽃’의 조사결과는 전체 선거구의 절반을 차지하는 서울·수도권을 선거구별로 조사해보니 ‘민주당 지지세 하락이 아닌 압도’ 경향이 뚜렷하다는 것이다.

“여론조사의 수치가 많아 봐야 몇백 개란 말이죠. 우리는 2만4000개잖아요. 그러면 2만4000개는 어떻게 나왔는지, 궁금해야 정상 아닙니까.”

겸손은힘들다 뉴스공장 은 지난 3월 5일 서울 지역 선거구별 조사 결과에 기초한 여론조사꽃 판세조사 결과를 발표했다. /유튜브 캡처

지난 3월 5일 김씨가 뉴스공장에서 한 발언이다. 김씨는 대부분 언론이 ‘서울지역 180개 샘플’로 이뤄진 갤럽 등의 조사에 근거해서 서울지역에서 국민의힘이 강세를 보이고 민주당 지지추세가 하락으로 접어들고 있다고 보도하면서 2만4000개 샘플을 써서 서울시 모든 선거구를 조사해 민주당 절대우세를 ‘입증’한 ‘꽃’의 여론조사 결과는 인용하지 않고 있다고 주장했다. 그는 이 ‘상황’에 대한 논평을 이렇게 마무리했다.

“왜 안 할까요? 정확하지 않아서 인용하지 않는 게 아니다. 정확할까봐. 그리고 그게 퍼져 나갈까봐.”

2만4500샘플 대 180샘플, 숫자가 깡패다?

다 인용하지 않은 건 아니었다. MBC <100분 토론>에 참여한 유시민 작가는 종전 여론조사 결과에 대한 회의론을 펴면서 ‘꽃’의 손을 들어줬다.

“리얼미터의 경우 1000샘플 전국조사인데 이중 서울이 180개다. 평일 낮에만 조사를 하는데 그러면 평일 낮에 전화를 받을 수 있는 사람과 없는 사람의 차이가 있다. 리얼미터는 민주당 3% 우위에서 국민의힘 17% 우위로 반전됐는데 20%포인트 차가 났다. 국정농단 정도의 사건이 터지지 않는 한 이런 변화가 일어나기 어렵다. 갤럽도 1000샘플 중 주관적 정치성향이 보수라고 이야기하는 사람이 120개 정도 많았다.”

지난 2월 말~3월 초 여론조사에서 국민의힘 지지율 상승은 여론조사를 후보 결정에 도입한 경선 여론조사가 이유라는 것이다. 국민의힘 후보 결정을 두고 경쟁이 치열하게 벌어지면서 여론조사 전화를 받아 자신이 미는 후보 지지 의사를 표명하려는 보수 지지자들의 ‘전화기 앞 집결’이 국민의힘 강세라는 여론조사상의 ‘착시효과’를 만들어냈다는 것이다.

반면 대부분 정치평론가나 여론조사전문가들은 민주당 공천파동과 한동훈 효과 등을 여야 지지율 변동의 원인으로 꼽고 있다.

여론조사꽃 서울판세 조사결과를 바탕으로 한 유튜버가 가공·리뷰해 올린 유튜브 영상 표지. /유튜브 캡처

‘수가 많다고 정확한 것이 아니다’라는 것이 여론조사에서 제일 처음 배우는 기초적 정리(theorem)다. 가장 극적인 사례로 1936년 미국 대선에서 240만명을 대상으로 우편설문조사를 한 ‘리터러리 다이제스트’의 대선 예측과 1500샘플 면접조사를 한 갤럽의 예측이 있다. 리터러리 다이제스트의 공화당 후보 당선 예측은 틀렸고, 갤럽의 루스벨트 민주당 후보의 당선 예측은 맞았다. 대부분 여론조사 교과서 맨 앞부분에 실려 있는 일화다.

“학자들은 잘 언급하지는 않지만 여론조사 비용 문제는 여론조사의 신뢰도를 높이는 데 결정적인 변수인 것은 사실이다.”

최근 여론조사 보도 문제를 다룬 책 <여론다움>을 낸 신창운 한국여론평판연구소 소장의 말이다. 그러나 그는 이렇게 덧붙였다.

“하지만 선거 여론조사에서 돈으로 해결할 수 없는 부분은 반드시 있다. 4억원이 아니라 30억원을 쓴다고 하더라도 4월 10일 총선 판세가 어떻게 될 것인지 맞히긴 어렵다. ‘비싸면 정확하다’는 말을 최대한 용인하더라도 가능한 것은 현재까지의 판세다. 앞으로 어떻게 되리라고 말하기 어렵다. 1936년 미국 대선에서 갤럽이 맞춘 것을 과학적 여론조사 사례로 거론하지만, 최근 갤럽 미국 대선 예측도 세 차례나 틀렸다. 베이지안 정리를 여론조사기법으로 도입한 네이트 실버도 트럼프 당선 예측에 실패한 바 있다.”

유시민 작가는 일부 친윤 언론뿐 아니라 진보계열 신문들도 (국민의힘에 편향된) 여론조사 결과에 휘둘리고 있다며 이들 진보신문의 기자와 비평가들이 “자신의 주장에 분명한 실증적 논리적 근거가 있는지를 점검하고 민주당과 이재명 대표를 훈계하는 문장을 쓰는 시간에 데이터를 연구해야 한다”고 주장했다.

“지난 총선을 넘어 압승할 것으로 예측된다”는 ‘꽃’의 경기도 판세 예측 데이터들을 점검해봤다. ‘꽃’의 서울과 경기도 판세 조사는 여심위에 별도로 등록하지 않았다. 다만 ‘총선 판세 특집 여론조사’라는 이름으로 선거구별 조사 결과를 등록해 놓았다.

대부분 500개 내외 샘플에 95% 신뢰수준에 ±4.4%P 표준오차 ARS 조사다. 방송을 통해 공개한 조사기간은 지난 2월 7일부터 2월 28일까지로 돼 있는데, 실제 여심위에 등록된 선거구별 결과를 전수조사해보니 조사기간은 네 덩어리로 나눠진다. 첫째는 2월 7일에서 8일 이틀간 진행한 선거구별 조사로 12개다. 둘째는 2월 13~14일 진행한 조사로 14개(13일부터 15일까지 3일간 진행한 광주갑과 14~15일 양일 조사한 여주·양평을 이 그룹에 포함시키면 16개)다. 나머지는 2월 26~27일 양일 조사한 19개와 27~28일 실시한 10개 선거구다.

문제는 이 조사를 한 시기다. 방송에서 경기도 선거구 중 민주당과 국민의힘 격차가 가장 큰 것(30.3%차)으로 거론됐던 고양을 조사의 경우 조사는 2월 7~8일에 실시됐는데 여심위 등록은 2월 22일, 공표는 3월 11일이다. 조사부터 공표까지 시차가 한 달이 넘는다.

민주당 지지율 하락의 원인으로 지적됐던 민주당 공천파동의 주요변곡점으로 기록될 수 있는 김영주 의원 탈당 기자회견이 열린 날은 지난 2월 19일이었다. 임종석 전 대통령실 실장의 공천배제가 최종 결정된 것은 2월 27일이었다. 이 시기를 민주당 공천파동의 절정부로 본다면 ‘꽃’이 3월 11일 발표한 경기도 판세 조사의 절반가량은 민주당 공천파동 이전에 실시됐다.

반면 KBS의 윤석열 대통령 인터뷰가 방송된 날은 2월 7일이었고, 이튿날엔 윤 대통령과 용산 대통령실 직원들의 ‘우리의 사랑이 필요한 거죠’ 설 인사 영상이 공개됐다. 2월 7일과 8일에 실시된 여론조사에서 정권·여당 지지율에 상당한 부정적 영향을 끼쳤을 가능성이 크다.

윤석열 대통령이 지난 2월 4일 서울 용산 대통령실에 열린 KBS 신년대담 ‘특별대담 대통령실을 가다’(2월 7일 공개) 녹화를 마치고 박장범 앵커에게 집무실을 소개하고 있다. /대통령실

“탄핵 전 여론조사로 보수 이긴다고 주장하는 꼴”

이원재 카이스트 문화기술대학원 교수는 “여론은 시시각각 변하게 마련”이라며 “비유하자면 누구나 문재인 당선을 예측할 수 있었던 2017년 대선에서 박근혜 탄핵 전 여론조사 결과를 가져와 이번 대선에서 보수가 이긴다고 주장하는 것과 같은 꼴”이라고 말했다.

지난해 11월 최정묵 지방자치데이터연구소 소장이 낸 <국민 집권 전략>에 따르면 올해 4월 총선은 254개 선거구 중 여야가 경합하고 있는 49개 선거구의 승패에 따라 결정된다. 각축을 벌이고 있지만 민주당과 국민의힘이 이 49개 경합지역에서 몇 개를 선점하냐에 따라 선거 결과는 2~3개 시나리오에 수렴된다는 것이다. 최 소장이 제시하는 데이터에 따르면 경합지 49군데 중 16개가 경기도 선거구다. ‘꽃’의 판세 조사에 따르면 이번 조사 결과에 포함되지 않은 화성갑과 분당을을 제외한 14개 선거구 모두 민주당이 우세하다.

‘꽃’의 경기도 판세 조사가 공표시점인 3월 11일 직전 진행된 것으로 오인될 수 있다는 지적에 박종희 서울대 정치외교학부 교수는 “시청자나 독자에게 발표하는 시점의 여론이 반영하는 것처럼 착각을 일으킨다면 분명히 잘못된 것”이라며 “대부분의 여론조사 언론 발표 시점은 하루 전이나 이틀 전에 치러진 결과를 가지고 이야기하지 1주일 전, 한 달 이상 전에 수행된 조사로 판세를 주장하지는 않는다”고 말했다.

‘꽃’ 측은 “조사는 기획단계를 거쳐 각 지역의 판세에 대한 조사를 진행하고, 그것을 큰 지도로 그려 보여주는 것을 목표로 진행됐으며 일정은 내부사정에 맞춰 진행한 것”이라며 “조사된 내용은 여심위와 선관위의 검토를 받아 공표하고 있고, 공표된 데이터는 선관위가 미리 확인하는 과정을 거치고 있다”라고 답했다. “선거구별로 조사기간이 한 달 이상 벌어지면서 조사와 발표 시점에 판세 차이가 나타날 수 있지 않으냐”는 질문엔 답하지 않았다.

이른바 서울지역 ‘180샘플’ 논란에 대해 갤럽 측은 “정당 지지도는 상당수의 무당층이 있을 수밖에 없어 정당 지지로 묻느냐 후보 지지 또는 투표 의향으로 묻느냐에 따라 질문·응답이 다를 수밖에 없다”라며 “(갤럽과 ‘꽃’의 조사는) 사실상 다른 개념인데 같은 개념으로 놓고 비교하는 것은 적절치 않다고 본다”고 밝혔다.

관련기사

---

☞ 내년 총선 D-201…지역여론조사, 얼마나 믿을 만할까
https://www.khan.co.kr/politics/politics-general/article/202309240948001

---

정용인 기자 inqbus@kyunghyang.com

▶ 매일 라이브 경향티비, 재밌고 효과빠른 시사 소화제!
▶ 여성의 날 맞이 ‘자기만의 방’ 꾸미고 입주하세요!

©경향신문(www.khan.co.kr), 무단전재 및 재배포 금지