PeilingPraktijken

Van 23 mei t/m 26 mei 2019 waren er weer Europese verkiezingen. In Nederland werd gestemd op donderdag 23 mei. In de periode voor de verkiezingen waren een aantal peilers actief. De verkiezingen zijn altijd een mooi moment om na te gaan of de uitkomsten van de peilingen in de buurt liggen van de werkelijke verkiezingsuitslag. We vergeleken daarvoor de peilingen van drie peilers (I&O Research, Kantar en Ipsos) met de verkiezingsuitslag.

We beperkten ons tot I&O Research, Kantar en Ipsos. Voor deze peilers waren niet alleen zetelaantallen maar ook stemmenpercentages beschikbaar. Peiler Maurice de Hond publiceerde alleen zetels. De beschikbare gegevens staan in de tabel hieronder.

Op de verkiezingsdag zelf was er een exitpoll van Ipsos (in opdracht van de NOS). Dit was een grote peiling (met 55 000 deelnemers) die een goede indicatie zou moeten geven van de echte uitslag. Hij was bedoeld als een prognose van de echte uitslag die pas op zondagavond 26 mei bekend mocht worden gemaakt.

GeenPeil organiseerde samen met Maurice de Hond ook een soort exitpoll. Ongeveer 1300 vrijwilligers gingen langs bij een steekproef van 708 stembureaus. Ze registreerden in deze stembureaus het resultaat van het tellen van de stemmen. Zo kregen de vrijwilligers het stemgedrag van 478 000 kiezers.

De gegevens van de drie peilers zijn overgenomen van Tom Louwerse. In de tabel is te zien dat de bij Kantar en Ipsos tot en met 21 mei (twee dagen voor de verkiezingen) is geteld. De laatste peiling van I&O Research liep tot en met 14 mei. Er zat dus nog meer dan een week tussen de peiling en de verkiezingen. Daarmee loop je als peiler het risico dat je de effecten van allerlei gebeurtenissen in die periode niet meer meeneemt in de schattingen. Je kunt dan niet meer vaststellen of eventuele verschillen in de cijfers veroorzaakt zijn door die gebeurtenissen (bijvoorbeeld debatten) of door fouten in de opzet en uitvoering van de peiling.

De steekproeven van de drie peilers waren ongeveer even groot. De omvang varieerde van 1091 tot 1350. Dat betekent dat er sprake is van onzekerheidsmarges die konden oplopen tot ruim twee procentpunten.

In de figuur hieronder zijn de uitkomsten van de peilingen op grafische wijze weergegeven. De gekleurde cirkels zijn de schattingen voor de diverse partijen. De horizontale lijnstukjes duiden de onzekerheidsmarges aan. Het verticale zwarte lijnstuk is de echte uitslag. Als een onzekerheidsmarge de echte uitslag overlapt, dan kun je concluderen dat de schatting van de peiler goed was. Zo niet, dan is er sprake van een significante afwijking.

In de grafiek is te zien dat de peilers het in veel gevallen bij het rechte eind hadden. De grafiek bevat 33 schattingen en 21 daarvan liggen binnen de marges. Dat is mooi. Er zijn echter wel een paar partijen waarvoor de schattingen minder goed waren. De meest opvallende was wel de PvdA. De schattingen van alle drie de peilers waren te laag. De uitslag voor deze partij was duidelijk hoger dan geschat. In de echte uitslag kreeg de PvdA 18,9% en de schatting van Ipsos was 10,4. Dat is een verschil van maar liefst 8,5 procentpunten. Wat kan de oorzaak van dit verschil zijn? Er zijn diverse verklaringen denkbaar:

• Het is een toevallige incident veroorzaakt door ruis in de steekproef. Dat lijkt niet zo waarschijnlijk, aangezien dit verschijnsel zich voordeed bij alle drie de peilers.
• Er zitten, speciaal voor de PvdA, systematische fouten in de peilingen. Dat ligt ook niet voor de hand.
• Er is misschien nog van alles gebeurd in de hoofden van de stemmers op de laatste dag voor de verkiezingen. Wat was, bijvoorbeeld, het effect van de laatste debatten (van de lijsttrekkers en van Rutte tegen Baudet)?
• Er was sprake van een Timmermans-effect dat niet is opgepikt door de peilingen.
• Misschien durfden veel Pvda stemmers in de peilingen niet toe te geven dat ze op die partij gingen stemmen. Ze gaven een ander antwoord of geen antwoord.
• Het is een mix van bovenstaande oorzaken.

Nader onderzoek zal moeten uitwijzen wat er precies aan de hand was. De PvdA was niet het enige probleem bij de peilingen. Zo zaten de peilers ook significant te laag bij de PVV en bij FvD, al waren de verschillen minder groot. Zo zat I&O Research 5,0 procentpunten te laag bij de PVV en Ipsos zat 4,0 procentpunten te hoog bij FvD

Hoe dicht lagen de uitkomsten van de peilers nu bij de echte uitslag? Om hier inzicht in te krijgen, is voor elke peiler de gemiddelde (absolute) afwijking met de echte uitslag uitgerekend. De uitkomsten van deze berekeningen staan in de tabel hieronder. De verschillen tussen de peilers zijn maar klein. Het gemiddelde verschil is kleiner dan 2 procentpunten. We kunnen dus concluderen dat de peilers het over het algemeen goed hebben gedaan.

Omdat aan het einde van de verkiezingsdag op 23 mei er geen uitslag bekend mocht worden gemaakt, is er door Ipsos (in opdracht van de NOS) op die dag een grote exitpoll uitgevoerd. Deze exitpoll werd gebruikt als een schatting van de echte uitslag. Hij zou beter moeten zijn dan de peilingen omdat alleen kiezers in de steekproef zaten die hun stem al hadden uitgebracht (en dus niet meer twijfelden over hun stem). Ook was de steekproef erg groot: 55 000 kiezers. Om een beeld te krijgen van de prestaties van de exitpoll kan deze peiling worden vergeleken met de werkelijke uitslag. De gemiddelde afwijking blijkt gelijk te zijn aan 0,49. Dat is een kleine afwijking. De exitpoll kan dus inderdaad goed functioneren als een vervanging van de echte uitslag.

Is er verschil tussen de exitpolls van Ipsos en GeenPeil? Ook voor de exitpoll van GeenPeil kun je het verschil met de werkelijke uitslag bepalen. Je vindt dan een gemiddelde afwijking van 0,21. Dat is een toch wel erg klein verschil. De exitpoll van GeenSteil is dus beter dan die van Ipsos.

De conclusie kan luiden dat de peilers het in het algemeen goed hebben gedaan bij de Europese verkiezingen. Er is wel een aspect dat nader onderzoek vraagt en dat is de onderschatting van de winst van de PvdA.