[단독] 더불어민주당-자유한국당 지지율 논란 ①, 리얼미터와 한국갤럽의 차이가 발생하는 이유는 가중값 문제

(톱스타뉴스 김명수 기자) 최근 온라인에서 여론 조사결과에 대한 불만이 커지고 있다. 한국갤럽의 조사결과와 리얼미터의 조사결과를 비교해 볼 때 너무 큰 차이가 존재한다는 것.

리얼미터 5월 9일 발표 : 민주당 36.4%, 한국당 34.8% / 차이 1.6%
한국갤럽의 5월 10일 발표 : 민주당 40%, 한국당 25% / 차이 15%

뉴시스 역시 이런 문제를 파악하고 지난 11일 "민주-한국 지지율, 리얼미터와 갤럽은 왜 이리 차이가 클까"라는 제하의 보도를 통해 리얼미터와 한국갤럽을 취재하고 조사 방식의 차이 때문이라는 답을 얻었다.

조사방식의 차이를 보면 리얼미터의 경우 무선전화 면접(10%)과 무선(70%)·유선(20%) 자동응답(ARS) 방식이고, 한국갤럽의 경우 조사원이 직접 전화를 걸어 물어보는 전화조사원 인터뷰 방식이다.

뉴시스에 따르면 리얼미터는 "기계가 진행하는 자동응답 방식으로 응답자가 버튼을 누르며 적극적으로 자기 의향을 밝힐 수 있고, 숨어있는 '샤이 중도층'의 의사까지 적극적으로 반영될 수 있다"고 답했다.

리얼미터 관계자는 10일 뉴시스와의 통화에서 "전화 인터뷰 면접은 '샤이 보수층'까지 조사하는 데 한계를 갖고 있다.  전체 여론에서 소수 의견을 가진 집단들이 자동응답 조사에선 적극적으로 자신의 의향을 밝힐 수 있다. 전화면접 중 조사원 면접 방식 같은 경우 응답자가 직접 다 이야기를 해야 하기 때문에 선거로 치면 기명으로 투표하는 것과 같다. 때문에 부담을 느껴 대답을 속이거나 회피하는 현상이 나타날 수 있다. 반면 자동응답의 경우 혼자 의사를 표현하는 방식이어서 무기명 투표 방식으로 보면 된다"고 설명했다.

한국갤럽도 조사 방법의 차이라는 점에 동의하지만 리얼미터 측 자동응답 조사의 신뢰성에 의문을 제기했다. 사람이 직접 조사하지 않는 자동응답 방식에서는 정확성이 떨어진다는 것. 특히 상당수 조사 질문 시간이 7~8분 정도 소요되는 상황에서 정치 성향이 강한 지지층이 아닌 이상 끝까지 수화기를 들고 있을 사람은 거의 없을 것이라는 것.

한국갤럽 관계자는 10일 뉴시스와의 통화에서 "ARS는 조사방법 자체에 문제가 있다. 이 방식의 가장 큰 문제는 말로 하는 것이 아니라 기계 소리를 듣고 번호를 눌러야 하는 것이기 때문에 아주 열성적이지 않은 사람이 아니라면 쉽지 않다. 아주 정치 고관여자가 아니라면 전화 받기가 쉽지 않다. 오히려 ARS 응답자에는 정치 고관여자가 많이 포함될 수 있다. 이러한 조사는 중도층을 못 잡는다. ARS 조사가 전체 국민 중 정치에 관심이 덜한 분까지 대변하기는 어렵다고 본다"고 설명했다.  

여기까지가 두 조사기관의 답변 내용이다. 즉 핵심적인 이유를 조사 방식의 차이로 보고 있다.

그런데 최근 근본적인 문제가 온라인에서 제기되고 있다.

현재 온라인에서 제기되고 있는 부분은 목표할당사례와는 다른 조사완료사례에 대한 것으로, '남성과 여성의 비율이 실제 인구대비 비율과 일치하지 않는다' 혹은 '연령별 구성이 실제 인구대비 비율과 일치하지 않는다'의 문제다.

현재의 '선거여론조사기준'에서는 할당된 표본구성비율에서 50%~200%의 범위 내에서 조사를 완료하면 문제가 없다. 즉, 리얼미터나 한국갤럽 모두 이 기준 내에서 조사를 완료하면 '선거여론조사기준'에서는 문제되지 않는다.

그러나 실제 문제가 되는 것은 할당된 표본보다 적은 수나 많은 수를 조사했을 경우 가중값을 적용하게 되는데, 이 가중값의 적용에서 실제와 다른 가중된 결과치가 나올 수 있다는 것이다. 상식적으로 모수가 작을 경우에는 실제와 다른 허수가 튀어나올 개연성이 높아진다.

온라인에서 제기된 문제는 할당된 표본보다 적거나 많게 조사하다보니 가중값을 적용하게 되고, 그래서 바이어스가 발생한다는 것이었다.

실제 한국갤럽과 리얼미터의 표본조사완료수를 비교해 보면 아래와 같다. 반영률은 기자가 추가한 개념으로 목표할당 대비 조사완료의 달성률 개념으로 현실 표본 비율을 얼마나 반영했는가를 살펴보기 위한 개념이다.

위 표에서 보이듯이 리얼미터는 할당표본과 비교했을 때 조사된 표본의 차이가 심하게 발생한다. 여성은 실제 인구구성 대비 63% 정도만 조사됐고, 서울의 경우엔 151% 조사되기도 한다. 이후 보정의 과정을 거쳐서 조사결과를 발표하게 되고, 이후 여심위에서도 이를 체크하고 있으나, 표본과 다른 조사결과에서 오는 바이어스를 완전히 제거할 수 있을까라는 의문은 여전히 남게 된다.

한국갤럽과 리얼미터 조사결과의 차이는 단지 조사방식의 차이만이 아니라 조사과정에서 이미 발생한 표본의 차이가 가중값 배율 적용 과정에서 바이어스를 만들어내는 것은 아닌지 체크해 볼 일이다.

가중값 배율 어떻게 도입됐으며 변경할 수 있나?

선거여론조사와 관련된 규정은 여심위의 '선거여론조사기준'에 명시되어 있다.

가중값 배율과 관련해 여심위에 확인해 보았다.

14일 톱스타뉴스와의 통화에서 여심위 관계자는 "'선거여론조사'라는 규정은 여심위에서 공직선거법, 공직선거관리규칙 등의 관계법에 의거해 자체 의결한 내용이다"라고 설명했다.

여심위 관계자는 "과거에 가중값이 없었으나 필요에 의해 추가된 것"이라며 "현재는 가중값에 대한 문제제기가 없어서 이와 관련한 개정 계획은 아직 없다"라고 설명했으며 "필요하다면 자체 의결을 통해 개정할 수 있다"라고 답했다.

'선거여론조사기준'이 최초 의결된 2014년에는 가중값 배율이 없었다.

가중값 배율이 적용되기 전의 상황을 묻는 질문에 여심위 관계자는 "2014년 지방선거에서는 가중치가 적용되지 않았다. 당시 데이터를 살펴본 후 20대와 30대의 경우 심하게는 가중치가 6이상 적용된 사례도 발견됐다. 그래서 과대 반영되는 것을 바로잡기 위해 여심위에서 자체 의결을 통해 가중값 배율 조항을 도입하게 됐고 이후 2017년에 좀 더 강화하게 됐다"라고 설명했다.

가중값 배율 조항은 2014년 처음 '선거여론조사기준'을 제정할 당시에는 가중값 배율 조항이 없었으며, 2014년 지방선거 당시 과대반영의 문제가 발견되 2015년 처음 가중값 배율이 도입됐으며 당시의 가중값 배율은 0.4 ~ 2.5였다. 이후 2017년 3월에 현재와 같이 0.5 ~ 2.0으로 강화됐다.

각 조사기관의 현재와 같은 극심한 편차를 극복하려면 가중값을 현재의 0.5 ~ 2.0(50%~200%)에서 0.8 ~ 1.2 정도로 강화해 보는 것도 검토해 볼 일이다.

이렇게 규정이 강화될 경우 여론조사기관의 애로사항이 발생할 수도 있으나 이 부분은 여심위에서 관련 규정을 개정할 때 조사기관의 의견을 청취하면서 해법을 찾아볼 필요가 있다.

현재로서는 중요한 부분은 국민이 신뢰할 수 있는 여론조사 결과를 어떻게 확보할 것인가라는 점이다.

내년 국회의원 선거가 다가오고 있다. 신뢰할 수 있는 선거여론조사 결과를 얻을 수 있도록 제도 정비를 서둘러야 할 때다.

한국갤럽과 리얼미터 조사 내용 상세

리얼미터가 tbs의뢰로 지난 7~8일 이틀 동안 전국 19세 이상 유권자 1008명을 대상으로 조사해 9일 공개한 5월 2주차 주중집계(95％ 신뢰 수준·표본오차 ±3.1%포인트·응답률 6.6%)에 따르면 전체 응답자의 36.4%가 민주당을 지지했으며 34.8%가 한국당을 지지한 것으로 조사됐다. 민주당은 30%대 중반으로 하락했으며 한국당은 4주 연속 상승세를 보였다.

여심위에 공개된 리얼미터 조사결과 보기

한국갤럽이 지난 7~9일 이틀 동안 전국 19세 이상 유권자 1002명을 대상으로 조사해 10일 공개한 5월 둘째 주(95％ 신뢰 수준·표본오차 ±3.1%포인트·응답률 17%) 여론조사 결과에 따르면 정당 지지율은 민주당이 40%를 기록해 전주 대비 4%포인트 상승했다. 한국당은 지난주 보다 1%포인트 상승한 25%를 기록했다.

여심위에 공개된 한국갤럽 조사결과 보기

앞에 거론된 여론조사 내용의 자세한 사항은 리얼미터, 한국갤럽 홈페이지와 중앙선거여론조사심의위원회 홈페이지에서 확인할 수 있다.