Zijn de PvdA en GroenLinks even groot?

Op 24 juni 2015 kwam een nieuwe aflevering van de Peilwijzer uit. Deze peiling peilt niet zelf. De bedenker, Tom Louwerse, berekent een soort gemiddelde van bestaande peilingen. De NOS meldt op grond van de Peilwijzer dat de PvdA en GroenLinks nu even groot zijn. Maar is dat ook zo?

Het lijkt bij deze Peilwijzer vooral om de PvdA en GroenLinks te gaan. Welke van de twee partijen is de grootste? De vraag is of je dit wel kunt vaststellen. In het bericht van de NOS wordt gemeld dat de peilers met nogal verschillende schattingen voor beide partijen komen. In de grafiek hieronder staan de schattingen voor het aantal zetels volgens drie peilers, De Stemming van GfK Intomart, de Politieke Barometer van Ipsos en Maurice de Hond.

pvda-groenlinks

De schattingen voor de PvdA lopen van negen zetels bij Maurice de Hond en De Stemming tot 13 zetels bij de Politieke Barometer. Dat is dus een verschil van vier zetels. En bij GroenLinks loopt het verschil zelfs op tot zeven zetels. De Politieke Barometer schat GroenLinks op zeven zetels en Maurice de Hond komt uit op 14 zetels. Bij Maurice de Hond is GroenLinks duidelijk groter dan de PvdA. Bij de Politieke Barometer is juist het omgekeerde het geval.

Er zijn dus nogal wat verschillen tussen de peilers. Je kunt je afvragen hoe dat kan, want ze zouden immers allemaal hetzelfde moeten meten. In de tabel hieronder zijn wat karakteristieken op een rij gezet

PeilerDatumSteekproefHerkomstGewogenMarge
De Stemming26 mei2230Web panelJaNee
Politieke Barometer18 juni990Web panelJaJa
Maurice de Hond21 juni3000Web panelJaNee

Het belangrijkste verschil tussen de peilingen is misschien wel de datum waarop ze zijn gehouden. Tussen De Stemming en Maurice de Hond zit bijna een maand. Dus een verschil tussen deze twee peilingen zijn misschien wel te verklaren door veranderingen in de tijd. Tussen de Politieke Barometer en Maurice de Hond zit echter maar een paar dagen. Het lijkt onwaarschijnlijk dat een verschil van zeven zetels tussen de twee peilingen in die drie dagen kan zijn ontstaan. De conclusie moet haast zijn dat beide peilingen iets anders meten.

Voor geen van de drie peilingen is een nette aselecte steekproef getrokken. Alle drie de peilers maken gebruik van een web panel. Die web panels zijn gevuld via zelfselectie. Mensen kunnen zich spontaan opgeven voor deze panels. Er zitten dus vooral mensen in deze panels die het leuk vinden om aan peilingen mee te doen en/of geïnteresseerd zijn in de onderwerpen die aan bod komen. Dit maakt dat deze panels geen goede afspiegeling vormen van de Nederlandse bevolking. Ze zijn niet representatief.

Alle drie de peilers proberen hun pelingen representatief te maken door een correctie uit te voeren. Wegen heet dat. Daarin maken ze de respons in hun peiling representatief met betrekking tot enkele variabelen die ze hiervoor beschikbaar hebben. Ze gebruiken veelal dezelfde weegvariabelen: geslacht, leeftijd, opleiding, regio en stemgedrag bij de vorige verkiezingen. De stemming gebruikt ook nog de religieuze overtuiging van de respondenten. Gezien de overeenkomsten lijkt het niet voor de hand te liggen dat de verschillen tussen de peilingen het gevolg zijn van verschillen in weging.

Er kunnen nog andere oorzaken zijn voor de verschillen. Het zou bijvoorbeeld kunnen liggen aan de formulering van de vragen of aan de plaats van de vraag in de vragenlijst. Helaas is dit soort informatie niet beschikbaar op de websites van de peilers. Ze zijn zeer zuinig in het verstrekken van dit soort gegevens. De transparantie van de peilers zou best wat groter mogen zijn.

Vanwege de manier waarop de gegevens zijn verzameld (web panel met zelfselectie) is het niet mogelijk om aan te geven hoe goed of slecht de schattingen zijn. Twee van de drie peilingen geven daarom ook geen onzekerheidsmarges. De Politieke Barometer doet dit wel, maar die zijn gebaseerd op de veronderstelling dat er een aselecte steekproef is getrokken. Dat is hier niet het geval.

Is het denkbaar om een peiling op een andere manier te doen dan met een web panel? Je zou bijvoorbeeld kunnen denken aan een telefonische peiling. In Nederland doen alle peilers het online. In Engeland kom je nog wel telefonische peilingen tegen. Het is echter de vraag of die peilingen beter zijn. Bij de parlementsverkiezingen in het Verenig Koninkrijk op 7 mei zaten alle peilers ernaast (of het nu een web panel of een telefonische peiling was).

Al met al ontstaat er een wat somber beeld over de kwaliteit van de peilingen. Dat beeld wordt nog wat meer versterkt door een artikel in de New York Times van 20 juni. Stof tot nadenken!