Bizarre verschillen in de peilingen
Op 14 maart publiceerde I&O Research een nieuwe peiling over de verkiezingen voor de Tweede Kamer. Om dat er tegelijkertijd ook nog twee andere peilingen waren (Peil.nl van Maurice de Hond en de Politieke Barometer van Ipsos), was dit een goed moment om die peilingen met elkaar te vergelijkingen. En de conclusie is bizar: er zijn enorme verschillen tussen de drie peilingen. De vraag komt dan op welke peiling nu eigenlijk de juiste is.
De tabel hieronder bevat de uitkomsten van de drie peilingen. Ze zijn alle drie begin maart uitgevoerd. Er zijn heel kleine verschillen in de periodes. Die kunnen niet de grote verschillen in de uitkomsten verklaren. Er zijn ook verschillen in de omvang van de steekproeven. De steekproef van 1.000 van de Politieke Barometer is het kleinst, maar die zou voldoende moeten zijn voor redelijker nauwkeurige uitkomsten.
De rode rijen in de tabel geven de partijen aan waarvoor de verschillen in de peilingen toch wel erg groot zijn. De PVV krijgt maar liefst 38 zetels van Peil.nl en slechts 25 zetels van I&O Research. Dat is een enorm groot verschil van 13 zetels. En bij de PvdA is er 11 zetels verschil tussen Peil.nl en I&O Research.
Bij GroenLinks is het verschil 8 zetels (tussen Peil.nl en de Politieke Barometer). Ook nog steeds een groot verschil, zeker als je in aanmerking neemt dat dit toch een wat kleinere partij is.
In de grafiek hieronder zijn de verschillen in de peilingen voor de PvdA, PVV en GroenLinks nog eens grafisch weergegeven. Het is toch wel bizar dat de een partij bij de ene peiler twee keer zo groot is dan bij de andere peilers.
De verschillen tussen de peilers zijn zo groot dat je ze niet meer kunt toeschrijven aan ruis in de steekproef. Maar wat is dan wel de oorzaak van de verschillen? De conclusie lijkt onvermijdelijk dat de steekproeven van deze peilers niet representatief zijn.
Elk peiler trekt een steekproef uit zijn eigen web-panel. Dus de vraag is eigenlijk of die web-panels wel representatief zijn. En daarvoor moet je weten hoe de panels zijn samengesteld. Bij Peil.nl is dat wel duidelijk. Iedereen die dat wil, kan zich opgeven als lid. We noemen dit zelfselectie. Daarmee is dit panel geen goede afspiegeling van alle kiezers. Het zijn voornamelijk mensen die geïnteresseerd zijn in politiek en het leuk vinden om aan peilingen mee te doen.
I&O Research meldt dat zijn panel ‘is geworven op basis van aselecte personen en huishoudensteekproeven op traditionele manier (geen zelfselectie)’. Dit lijkt een betere aanpak, maar de beschrijving is erg vaag. Je kunt je bijvoorbeeld afvragen of de representativiteit niet is aangetast door de weigering van mensen om toe te treden dat het panel (non-respons).
Bij de Politieke Barometer van Ipsos meldt dat zijn panel op ‘veel verschillende manieren is geworven’. Dat is rijkelijk vaag. Verder voert Ipsos aan dat zijn panel ‘voor allerlei soorten onderzoek wordt gebruikt (niet alleen politiek onderzoek)’. Dit zou ertoe moeten leiden dat politiek geïnteresseerden niet oververtegenwoordigd zijn.
De beschrijving van de opbouw van de web-panels van de drie peilers is dus behoorlijk vaag. Daarmee voldoende ze niet aan de AAPOR Code of Ethics. AAPOR staat voor American Association of Public Opinion Research. Die code schrijft voor dat een peiler in voldoende detail moet beschrijven hoe de leden van het panel zijn gerekruteerd.
Het is misschien ook wel nuttig om nog even terug te denken aan het ‘UK Polling Disaster’. Bij de parlementsverkiezingen van 7 mei 2015 zaten alle peilers er helemaal naast met hun voorspelling. Een onderzoekscommissie van de British Polling Council heeft vastgesteld dat veel peilers gebruik maakten van web-panel. Die web-panels bleken niet representatief te zijn.
Je kunt altijd proberen een gebrek aan representativiteit in je steekproef te repareren door het uitvoeren van een weging. Daarbij corrigeer je voor de onder- of oververtegenwoordiging van bepaalde groepen. De drie Nederlandse peilers doen dat op ongeveer dezelfde manier. Bij het debacle in Engeland was de conclusie dat dit soort wegingen onvoldoende effectief waren.
