PeilingPraktijken

Op 27 mei 2016 twitterde Tom-Jan Meeus, politiek columnist van de NRC, dat het verschil tussen de PVV en de VVD in de peilingen nog maar klein was (twee zetels). Is dat wel zo? Er zijn verschillende peilingen en die hebben verschillende uitkomsten. Het is tijd voor een analyse.

Om na te gaan of de bewering van Meeus klopt, kun je de uitkomsten van de verschillende peilingen bij elkaar zetten. Er zijn twee peilers die op dit moment zeer regelmatig met nieuwe peilingen komen. Dat zijn de Politieke Barometer van Ipsos en Peil.nl van Maurice de Hond. In de grafiek hieronder staat het verschil in zetels van de PVV en de VVD in beide peilingen sinds september 2015.

De blauwe lijn voor de Politieke Barometer ligt vrij dicht bij de nullijn. Dat betekent dat er weinig verschil is tussen de PVV en de VVD. Van oktober 2015 tot maart 2016 is de PVV de grootste. Daarna is de VVD even een klein beetje groter. Vanaf mei 2016 is de PVV weer de grootste. De verschillen zijn echter maar klein. Ze vallen binnen de steekproefmarges.

De rode lijn voor Peil.nl ligt aanzienlijk verder weg van de nullijn. De PVV is systematisch veel groter dan de VVD. Het verschil loopt in februari 2016 zelfs op tot 24 zetels. De laatste maanden ligt het verschil rond de 15 zetels.

Beide lijnen geven dus een totaal andere boodschap. Volgens de Politieke Barometer zijn de PVV en de VVD ongeveer even groot. En volgens Peil.nl is de PVV veel groter dan de VVD. Kennelijk is er een systematische verschil tussen beide peilingen. Dit roept de vraag op welke peiling nu de juiste is. In een poging een antwoord te geven, kijken proberen we wat meer in detail naar beide peilingen te kijken. Dat valt niet mee, want beide peilers zijn niet erg scheutig met informatie over hoe hun peiling in elkaar zit.

Beide peilingen zijn online peilingen. Beide peilers trekken aselecte steekproeven uit hun eigen online panels. De representativiteit van die steekproeven staat of valt met de representativiteit van de panels waaruit ze afkomstig zijn. Bij voorkeur moet een panel gevormd worden via een aselecte steekproef. Helaas is dit niet het geval. Het panel van Peil.nl is tot stand gekomen via zelfselectie. De leden van het panel hebben zichzelf spontaan aangemeld. Het zijn daarom vooral mensen die het leuk vinden om aan peilingen mee te doen en die geïnteresseerd zijn in politieke zaken. Het panel is daarom geen goede afspiegeling van de bevolking.

Ipsos is tamelijk vaag over het gebruikte panel. Op de website meldt deze peiler dat het panel op ‘veel verschillende manieren is geworven’. Je kunt je aanmelden voor het panel. Het panel wordt voor allerlei soorten onderzoek gebruikt. Ipsos geeft aan dat ‘men zich niet kan aanmelden voor politiek onderzoek’. Daarmee probeert deze peiler te voorkomen dat politiek geïnteresseerden oververtegenwoordigd zijn in het panel.

Beide peilers zijn dus nogal vaag in hun uitleg over hoe hun steekproeven tot stand zijn gekomen. Daarmee volgen ze niet de richtlijnen van hun brancheorganisatie. Zo zegt de AAPOR (American Association of Public Opinion Research in haar ‘Code of Ethics’ dat er een onderzoeksrapport moet zijn met daarin een beschrijving van ‘The methods used to recruit the panel or participants, if the sample was drawn from a pre-recruited panel or pool of respondents’.

Uit de schaarse informatie op internet kan worden afgeleid dat beide panels met ongeveer 40.000 leden even groot zijn. Voor de Politieke Barometer wordt elke twee weken een steekproef van ongeveer 1.000 personen getrokken. Voor Peil.nl wordt elke week een steekproef 3.000 personen getrokken. De steekproef van Peil.nl is dus ongeveer drie keer zo groot als die van de Politieke Barometer. Beide steekproeven zijn echter voldoende groot om de politieke voorkeur voldoende nauwkeurig te kunnen schatten.

Als de representativiteit van een peiling is aangetast, kun je proberen dat te repareren door het uitvoeren van een weging. Daarbij maak je de peiling representatief door het toekennen van gewichten aan de respondenten. Ipsos maakt de Politieke Barometer representatief met betrekking tot geslacht, leeftijd, opleiding, regio en stemgedrag bij de vorige verkiezingen (van 2012). Stemgedrag bij de vorige verkiezingen is een belangrijke weegvariabele. Probleem is echter dat mensen die zich nu opgeven als lid van een panel, vaak niet meer weten wat ze in 2012 hebben gestemd.

Peil.nl is erg onduidelijk over de gebruikte weegvariabelen. Het lijkt erop dat in ieder geval geslacht, regio, opleiding en stemgedrag bij de vorige verkiezingen worden gebruikt. Een verzoek aan Peil.nl om meer informatie over de weging leverde geen reactie op.

Kortom, beide peilers trekken hun steekproef dus uit een niet-representatief panel. Die conclusie komt overeen met de uitkomsten van een onderzoek van het CBS (‘Establishing the accuracy of online panels for survey research’). Uit dit onderzoek van 18 online panels die via zelfselectie tot stand zijn gekomen, blijkt dat de uitkomsten slechter zijn dan die van online panels op basis van aselecte steekproeven. En wegen kan de problemen niet oplossen.

Een zelfde conclusie trokken Engelse onderzoekers na het debacle van peilers bij de Engelse verkiezingen op 7 mei 2015. Ook daar gingen peilingen op basis van een zelfselectie-online panel de mist in. En ook hier bleek wegen de gebreken niet te kunnen repareren.

Er zal wat moeten gebeuren om de situatie te verbeteren. Misschien moeten er online panels worden gevormd die representatiever zijn. En misschien moeten er wel betere weegtechnieken worden ontwikkeld. Er is dus werk aan de winkel!