내년 총선 D-201…지역여론조사, 얼마나 믿을 만할까

김어준씨 회사 ‘여론조사꽃’ 전국 총선지역 여론조사의 경우

방송인 김어준씨가 대표로 있는 여론조사꽃이 9월 7일부터 8일까지 실시한 대전 유성구을과 인천 미추홀구을 총선지역여론조사 결과를 발표했다. 김씨는자신이 진행하는 유튜브 시사프로그램 <김어준의 겸손은 힘들다 뉴스공장>, <다스뵈이다> 등을 통해 이 결과를 발표했다. 사진은 9월 11일 <뉴스공장> 유튜브 섬네일/ 유튜브 캡처

[주간경향] “첫 조사를 했더니 반향이 장난이 아니야. 다 할 테니 기다리세요. 돈이 어마어마하게 들어갈 겁니다.”

지난 9월 15일 공개된 유튜브 방송 <다스뵈이다> 진행자 김어준씨 말이다. 이날 방송에서 그는 자신이 설립한 회사 ‘여론조사꽃’이 “국내 최초로, 그리고 앞으로도 유일할 총선 지역구 전국프로젝트를 10월부터 진행할 것”이라고 공표했다.

여야 협상 과정에서 앞으로 조정될 여지는 있지만, 현행 기준으론 내년 선거가 치러질 지역구는 253개다. 내년 4월 총선 전까지 이들 모든 지역구에서 판세를 들여다볼 여론조사를 하겠다는 것이다.

이날 방송에서 맛보기로 공개된 지역 총선 여론조사 결과는 대전 유성구을과 인천 미추홀을이다. 각각 이상민 더불어민주당 의원과 윤상현 국민의힘 의원이 현재 의원인 지역구다.

김씨가 언급한 “국내 최초, 그리고 앞으로도 유일한” 프로젝트가 되리라는 것은 현재까지 대체로 사실이다. 기자는 선관위 중앙여론조사심의위(여심위)가 각 여론조사기관의 조사데이터와 보고서를 홈페이지에 공표하기 시작한 2014년 이전부터 선거여론조사 관련 기사를 써왔다. 언론의뢰로 진행하든 자체조사 데이터든 한 개 기관이 국회의원 총선에서 전국 모든 지역을 커버해 여론조사를 한 경우는 지금까지 없었다(단 ‘여심위 홈페이지에 등록한 공표여론조사에 한정했을 때’라는 단서 조항이 붙어야 한다). 이유는? 간단하다. 돈이다.

각 여론조사기관의 조사비용은 영업 기밀이다. 예컨대 선관위를 통해 KT, LG유플러스, SK텔레콤 등 이동통신 사업자로부터 20일간 유지되는 가상번호를 제공받아 여론조사를 진행한다면 올해의 경우 한 번호당 326원의 비용을 지불해야 한다. 1천 샘플 기준으로 응답률을 고려해 보통 3만 콜의 가상번호를 산다고 가정했을 때 3만×326=978만원을 지출해야 한다. 다른 비용은 다 빼고 가장 기초적인 원재룟값만 1000만원 가까이 들어간다. 253개 지역을 다 한다면 중앙선관위 총선 지역 여론조사 기준인 5백샘플로만 하더라도 가상번호 비용만 얼추 12~13억원이 들어간다. 웬만한 정치여론조사기관의 한 해 전체 매출을 훌쩍 넘기는 비용이다. 어떤 방법으로 진행하냐에 따라서도 가격 차이가 난다.

여론조사 방법에 따라 비용 천차만별

널리 쓰이는 ARS(Automated Res-ponse System·자동응답시스템)의 경우는 CATI(computer assisted telephone interviewing·전화면접 방식)에 비해 훨씬 싸다. ARS 방식의 경우 싸고 신속하게 결과를 얻을 수 있는 반면, 여론조사 전문가들은 일반적으로 신뢰성이 낮다고 주장한다(전문가에 따라 ARS 조사결과를 발표할 때는 준여론조사 결과라고 표기해야 한다고 주장하는 사람도 있다).

반면 ARS를 주로 활용하는 업계 중심으로는 ARS 방식이 특정국면에서는 더 정확성을 발휘할 때가 있다고 주장한다. 사람이 수행하는 전화면접보다 기계가 진행하다 보니 속마음을 감추지 않고 솔직하게 꺼내놓는다는 가설이다.

실제 지난해 대선의 경우 ARS의 경우 응답률이 올라가면 오차율이 감소하는 반면, CATI는 응답률이 올라가면 오차율도 동반상승한다는 연구결과(이건 한양대 행정학과 교수, “ARS 여론조사 결과는 항상 신뢰하기 어려운가?” 행정포커스 vol.162, 2023,03+04 참조)가 나온 적도 있다.

여론조사꽃(이하 ‘꽃’)이 ‘맛보기’로 공개한 두 지역구는 CATI 방식으로 진행한 것이다. 일반적으로 CATI 방식의 여론조사가 ARS보다는 품질이 좋은 것으로 인식되고 있다. 품질이 좋은 만큼 비용이 많이 든다. 김씨가 자신이 진행하는 방송에서 “비싼 게 정확하다!”는 구호를 반복적으로 외치는 까닭이기도 하다.

‘꽃’은 보통 ‘언론사 의뢰로 조사를 수행하는’ 형식으로 진행되는 다른 여론조사기관과 조금 다르다. 여심위 사이트에 등록된 ‘꽃’의 조사의뢰자 항목엔 ‘자체조사’로 표기된다. 그렇다면 ‘꽃’의 조사비용은 어디서 나올까. 방송인 김어준씨의 사재를 털어서? 답은 구독이다. 월 1만원의 비용을 내고 여론조사리포트를 구독하는 것이다. 김씨는 “전국을 다 커버하려면 구독자가 지금보다 늘어야 한다”며 수시로 구독을 독려하고 있다.

안정 vs 심판만으로 판세 나오지 않는다

총선은 내년 4월 11일 치러진다. 얼추 200여 일 남았다. 내년 총선 판세 전망의 기초는 각 여론조사기관이 내놓는 조사결과다.

그런데 총선은 전국단위로 치러지는 대선이나 광역과 다른 점이 있다. 지역에서 구체적인 인물을 매개로 치러지는 선거다. 내년 총선에서 정권 안정 또는 정권 심판을 택할 것이냐, 또는 국민의힘을 지지할 것이냐 민주당을 지지할 것이냐와 같은 전국단위 샘플조사 만으로 지역 판세를 읽을 수 없다.

특정한 정당, 예컨대 민주당 후보를 지지할 것이냐와 같은 질문으로도 파악할 수 있는 것은 밑바닥 기류 내지는 정서 정도에 불과하다. 판세는 각 당의 주요 출마자들이 결정된 뒤 겨루는 가상대결 결과가 나와야 어느 정도 읽을 수 있다.

여심위 홈페이지에 들어가 보면 ‘꽃’의 조사결과를 필두로 하나둘씩 후보자들이 등장하는 지역 총선 여론조사 결과가 등록되고 있다. 이 결과들은 어디까지 믿을 수 있을까.

김씨는 유튜브를 통해 자신이 운영하는 두 방송 <김어준의 겸손은 힘들다 뉴스공장>, <다스뵈이다>를 통해 ‘꽃’의 지역 총선 여론조사 결과를 공개했다.

대전 유성구을의 경우 9월 6일부터 7일까지 유성구을 선거구 만 18세 이상 남녀 512명을 대상으로 진행한 여론조사 결과였는데 ‘민주당 유성을 총선후보자로 누가 더 낫냐’는 질문에 허태정 전 대전시장은 22.6%, 이상민 현 의원은 18.4%, 이경 민주당 상근 부대변인은 10.3%를 기록했다(적합한 인물이 없다’는 응답은 31.3%, 자세한 사항은 중앙여론조사심의위 홈페이지 참조).

‘꽃’은 다시 위 여론조사 응답자 중 민주당 지지층과 무당층을 대상으로 위 3명 중 차기 총선 후보로 누가 더 낫다고 생각하냐는 질문을 추가한다. 이 결과에서는 허태정 28.5%, 이경 부대변인 20.3%, 이상민 13.4%였다.

김씨의 방송만 봐서는 ‘이상민 현 의원이 허태정 전 시장에 밀리고 있으며, 심지어 민주당 지지층과 무당층 대상 조사에서는 이경 부대변인에게도 뒤진 결과를 보여주고 있다’고 생각하기 쉽다. 그런데 이런 해석이 과연 옳은 것일까.

포털에서 ‘꽃’의 대전 유성을 여론조사를 인용 보도한 지역 매체는 디트뉴스24다. 이 매체의 인용 보도 제목은 ‘대전 유성을 총선 민주당 후보 적합도 ‘허태정 vs 이상민’ 각축’이다.

얼핏 봐서 김씨 방송내용과는 다른 해석이다. 같은 자료를 두고 왜 상반돼 보이는 해석을 제시했을까. 답은 김씨 방송에서 읽지 않고 1~2초 내외의 정지화면으로 처리하고 넘어간 조사통계표에 있다.

여심위에 등록한 ‘꽃’ 리포트의 조사개요에 따르면 이 조사의 샘플 수는 506명. 표본오차는 95%의 신뢰수준에서 ±4.4%포인트다.

표본오차의 의미를 단순화시켜 말한다면 만약 누군가 같은 조사를 100번 수행했다면 95번은 맞고 나머지 다섯 번은 틀릴 수 있다는 뜻이다. ±4.4%포인트라는 것은 수치가 ±로 최대 4.4%포인트 다를 수 있다는 것이다. 예컨대 전체 모집단 샘플링 조사에서 허태정 후보가 받은 22.6%는 최저 18.2%에서 27%까지 커버된다는 뜻이다.

마찬가지로 이 조사에서 2등을 차지한 이상민 후보(18.4%)도 14%에서 22.8% 사이 어딘가의 지지를 받고 있다는 뜻이 된다. 이 결과에 대한 정확한 해석은 ‘오차범위 내에서 접전을 벌이고 있다’이지 허태정 후보가 우위를 점하고 있다고 단정적으로 말할 수 없다.

‘꽃’ 데이터와 관련, 지역 언론사 해석이 더 진실에 근접한 셈이다. 의문은 김씨 방송에 출연하고 있는 여론조사 전문가들은 왜 이 ‘수치해석에서 유의해야 할 점’에 대해 언급하지 않냐는 점이다.

김씨 방송들을 유심히 보면 ±4.4%포인트라는 오차범위 문제는 거의 고려대상이 되지 않는다. ‘오차범위 내 접전’을 보여주는 전체조사는 설명 없이 슬라이드만 잠깐 보여주고 넘어가는 대신 ‘실제 민주당 공천에서 참조하는 민주당과 무당층 합산 자료’에서 “이재명 당대표 체제 비판에 앞장서왔던” 현역의원이 3등으로 전락했다는 것만 강조해 보여주고 있다.

“숫자는 거짓말하지 않는다. 다만…”

한 가지 주의해야 할 것은 내년 총선을 앞두고 이뤄지는 모든 지역 총선 여론조사 결과가 여심위 홈페이지에 등록되는 공표 여론조사가 아니라는 점이다. 예컨대 정당이 중앙당이나 시도당 차원에서 진행하는 자체 여론조사 결과는 등록하지 않는다. 이른바 비공표 여론조사다.

여론조사 전문가들이 “여론조사를 단일화나 공천의 수단으로 활용해서는 안 된다”고 이야기할 때의 ‘여론조사’는 공표여론조사가 아니라 외부에 공개되지 않은 비공표 여론조사다.

전문가들이 지적하는 이 여론조사의 문제는 ‘조사품질’이다. 공천과정에서 사용되는 대부분의 여론조사는 ARS조사다. 일부 전략지역이나 관심이 집중되는 지역에서 복수의 정당등록업체에 맡겨 검증하는 경우는 있지만, 사후검증과정이 없기 때문에 공천과정에 사용된 여론조사가 얼마나 정확하게 실제 여론을 반영했는지는 알 수 없다는 것이 여론조사 전문가들의 말이다.

각 당의 공천룰은 아직 확정되지 않았다. 내년 총선 공관위가 발족하면 공관위 차원에서 정식 논의를 통해 세부 시행세칙은 결정된다. 그러나 대략의 룰은 나와 있다.

더불어민주당의 경우 당헌 제98조 제2항에 “지역구 국회의원선거·자치단체장 추천 경선은 국민참여경선으로 한다”고 돼 있다. 국민참여당선은 다시 당원 50% 유권자 50%의 비율로 하게 돼 있는데 이 유권자 50%가 사실상 여론조사에 의해 결정된다. 여론조사는 다시 민주당 지지자와 무당층 지지자에 한하도록 못 박혀 있다.

여론조사 업계에서는 ‘검증된 적 없는 가설’로 치부되지만 이른바 역선택, 즉 다른 정당 지지자들이 조직적 투표로 경선 결과를 조작할 수 있다는 우려를 반영해 삽입된 규정이다.

지난 2021년 6월 7일 국민의힘 전당대회를 앞두고 한 당원이 당 대표 및 최고위원 선거 모바일 투표를 하고 있다. / 국회사진기자단

물론 구체적인 공천룰은 여론조사만 반영되는 것이 아니다. 예컨대 정치신인이나 여성 후보의 경우 가산점이 부여되는데 공관위 내에서 결정된 공천룰에서 그 가점이 어느 정도 수준으로 결정하느냐에 따라 조건은 달라진다.

박신용철 더체인지플랜 선임연구위원은 “숫자는 거짓말하지 않지만 어떻게 이용하느냐에 따라 왜곡된 결과가 나올 수 있다”라며 “악마는 디테일에 있다는 말처럼 공관위에서 구체적인 조건의 세세한 부분을 어떻게 만들어갈 것인지가 관건이 될 것”이라고 말했다.

김성순 시사평론가는 “선거 초반 여론조사는 실제로는 지명도를 높이려는 목적의 조사로 여론을 있는 그대로 보여준다기보다 여론 만들기에 더 가까운 측면이 있다”라며 “인지도 조사에 가까운 조사에서 시장을 역임했으니 구 선거에서도 이길 수 있으리라 전망하는 것은 어설픈 판단일 수 있다”고 말했다.

엄경영 시대정신연구소 소장은 “사실 여론조사만 놓고 보면 전국적 인지도를 가진 현역의원이 압도적으로 유리할 수밖에 없기 때문에 그에 기반해 공천이 이뤄진다면 기득권 중심으로 공천이 이뤄질 수밖에 없다”며 “그럼에도 현재처럼 양당이 과반 달성을 위해 수단과 방법을 가리지 않는 분위기에서 몇백 표 차이로 갈라질 수도권이나 부·울·경에서 여론조사 아닌 정성평가로 공천하라고 하긴 현실적으로 어렵다”고 말했다.

그는 앞으로 쏟아져나올 내년 총선 여론조사 결과가 실제 판세를 예측하는 데 얼마나 도움이 될지에 대해서는 “결국 투표율이 상수가 될 것으로 보이는데 예컨대 ARS조사들을 보면 대선 때 5%였던 응답률이 3% 전후로 거의 반토막이 나 있다”라며 “지금은 조사방법별로 응답률 차이가 크고 그건 조사 당시 정치사회 분위기를 반영하는 것이라서 그 응답률의 의미는 해석에 따라 다를 수밖에 없다”고 말했다.

“언론의 경우 선거방송심의위원회에서 오차범위 내의 결과 해석을 단정적으로 하는 경우 제한하는 규정은 있지만 말씀하신 유튜브 채널 같은 경우는 매체법에 따라 등록하지 않았을 경우 언론으로 규정 안 돼 있다.”

류정호 중앙선거여론조사심의위원회(여심위) 심의팀장의 말이다. 유튜브 기반의 시사프로그램이 정식언론사로 등록하지 않는 한 만약 잘못된 여론조사 해석을 발표했다고 하더라도 딱히 여심위의 심의대상이 아니라는 설명이다. 그는 “여심위는 여론조사 결과에 대해 공표된 사항만 간여할 뿐 내용에 대해서는 방송통신심의위원회 등 다른 쪽에서 다룰 사안”이라고 덧붙였다.

여론조사 ‘꽃’ 측은 분석 전문인력 확보 여부 등 전반적인 사항에 대한 주간경향 문의에 “구독자 모델로 조사만 진행할 뿐 언론과 접촉 안 하는 것을 방침으로 하고 있다”고 답변해왔다.

정용인 기자 inqbus@kyunghyang.com

▶ 무슨 옷 입고 일할까? 숨어 있는 ‘작업복을 찾아라
▶ 뉴스 남들보다 깊게 보려면? 점선면을 구독하세요

©경향신문(www.khan.co.kr), 무단전재 및 재배포 금지