PeilingPraktijken

Op 14, 15 en 16 maart 2022 waren er weer gemeenteraadsverkiezingen. En natuurlijk waren er ook weer peilingen. Opvallend was dat niet alleen de media peilingen lieten uitvoeren, maar ook de politieke partijen zelf. Zo gaf D66 opdracht aan Maurice de Hond om peilingen te doen in een aantal grote steden. We analyseren een van die peilingen en dat is de peiling in Nijmegen. Daaruit bleek dat D66 wel eens de grootste partij kon worden. Was dit nu een goede peiling?

De uitkomsten van de peiling staan in de tabel hieronder. Als je naar de percentages kijkt (in de kolom “prognose”), dan moet je concluderen dat D66 met 17% de grootste is. Maar GroenLinks ligt daar vlak achter met 16%. Dus je kunt je afvragen of D66 echt wel de grootste is. Is er sprake van een significant verschil? Of wordt het verschil slechts veroorzaakt door ‘ruis’ in de steekproef. Om daar iets over te kunnen zeggen, moeten we weten hoe de peiling in elkaar zat.

De peiling werd op 18 januari 2022 beschreven in het regionale dagblad “De Gelderlander”. Die krant had de nodige twijfels over de kwaliteit van deze peiling. De kop boven het bericht luidde immers “D66 is de grootste van Nijmegen volgens Maurice de Hond, maar er is een hoop aan te merken op zijn peiling”. Er is dus reden genoeg om in wat meer detail te kijken naar hoe de peiling was opgezet en uitgevoerd. Dat doen we aan de hand van de “Checklist voor peilingen”.

Die checklist helpt je het kaf van het koren te scheiden bij peilingen. Daarvoor moet je negen vragen beantwoorden. En dat doen we hieronder.

Vraag 1: is er een onderzoeksrapport beschikbaar?
Er is geen beschrijving van de opzet en uitvoering van de peiling beschikbaar. Er is dus onvoldoende informatie om te kunnen vaststellen of het om methodologisch verantwoorde peiling gaat. Er staat nergens beschreven hoe de steekproef is getrokken, of er non-respons was, hoe groot de onzekerheidsmarges waren, en of er gecorrigeerd is voor het gebrek aan representativiteit.

Vraag 2: wie is de opdrachtgever?
Het is altijd oppassen als de opdrachtgever van een peiling belang heeft bij bepaalde uitkomsten. Je moet dan extra goed opletten of de peiling wel objectief en neutraal was. Vermijd de situatie “Wij van WC-eend adviseren WC-eend”. De opdrachtgever van de peiling in Nijmegen was D66. Deze opdrachtgever heeft zeker belang bij bepaalde uitkomsten. En als je belang hebt bij bepaalde uitkomsten, dan kun je misschien wel proberen de uitkomsten te sturen. Diverse deskundigen vinden het geen goed idee dat politieke partijen zelf opdracht geven tot peilingen. Zie bijvoorbeeld de column van Jacqueline Kalk.

Vraag 3: wat is de doelpopulatie?
De doelpopulatie van de peiling bestaat uit alle kiesgerechtigden in de gemeente Nijmegen. Het is niet duidelijk hoe daaruit een steekproef is getrokken. Deze informatie wordt nergens gemeld. Je zou hiervoor de Basisregistratie Personen (BRP) van de gemeente Nijmegen kunnen gebruiken. Dat is echter (waarschijnlijk) niet gebeurd.

Maurice de Hond heeft een eigen panel waarin vele duizenden personen zitten die hebben toegezegd regelmatig vragenlijsten voor peilingen te willen invullen. En daar zitten natuurlijk inwoners van Nijmegen bij. Die kun je er dus uitfilteren. Het panel is echter niet via een aselecte steekproef tot stand gekomen, maar via zelfselectie. Het panel bevat alleen personen die zich spontaan hebben aangemeld. Het panel hoeft daarom geen goede afspiegeling van de Nederlandse bevolking te zijn. En de Nijmegenaren in het panel hoeven dus geen goede afspiegeling van alle Nijmegenaren te zijn.

Vraag 4: hoe is de kwaliteit van de vragenlijst?
De vragenlijst is een belangrijk onderdeel van een peiling. Door de teksten van de vragen en de volgorde van de vragen te manipuleren, is het mogelijk de uitkomsten van het onderzoek te beïnvloeden. In een goede vragenlijst zijn de vragen objectief en begrijpelijk geformuleerd. Er is bij deze peiling geen onderzoeksrapport en dus is de vragenlijst niet gedocumenteerd. Er valt daarom weinig te zeggen over de kwaliteit ervan.

“De Gelderlander” ontdekte desondanks toch een probleem in de vragenlijst. In de lijst van partijen waaruit de respondenten moeten kiezen staan twee partijen die helemaal niet meedoen aan de gemeenteraadsverkiezingen. Dat zijn de ChristenUnie en BIJ1. Van de respondenten zegt 4% op een van beide partijen te zullen stemmen. Dit vertroebelt de uitkomsten voor de andere partijen. Verder ontbreekt het mogelijke antwoord “Weet het nog niet”.

Vraag 5: hoe is de steekproef getrokken?
De steekproef zou bij voorkeur een aselecte steekproef uit alle kiesgerechtigde Nijmegenaren moeten zijn. Dit is echter niet het geval. De steekproef is getrokken uit het panel van Maurice de Hond. Dit panel is, zoals al eerder gezegd, via zelfselectie tot stand gekomen. Je kunt daarom je twijfels hebben over de representativiteit van de peiling.

Vraag 6: hoe groot is de steekproef?
De steekproef bestond uit slechts 307 personen. Dat is een wel erg kleine steekproef. Dat betekent dat je rekening moet houden met ruime onzekerheidsmarges (zelfs als de steekproef netjes is geloot). Je kunt je afvragen waarom de steekproef niet groter was. Je zou bijvoorbeeld kunnen denken aan een steekproef van ongeveer 1000 personen.
Misschien zaten er onvoldoende Nijmegenaren in het panel. Het zou kunnen dat het panel simpelweg niet meer dan 307 Nijmegenaren bevatte. Immers als je naar de bevolkingscijfers kijkt, dan blijkt dat (ongeveer) 1 op de 100 Nederlanders in Nijmegen woont. Dus dan zal ook 1 op de 100 panelleden in Nijmegen wonen.

Vraag 7: hoe groot is de non-respons?
Het hele probleem van de non-respons is genegeerd. Wat is er gedaan met de personen die wel werden uitgenodigd om mee te doen met de peiling, maar dat uiteindelijk toch niet deden? Is er sprake van selectieve non-respons? Zijn de respondenten misschien anders dan de respondenten? Hebben ze misschien een ander stemgedrag? Non-respons kan tot vertekeningen in de uitkomsten leiden. Helaas hebben de peilers de non-respons niet in beeld gebracht en niet geanalyseerd.

Vraag 8: is er gecorrigeerd voor non-respons?
Als de gerealiseerde steekproef niet representatief is (doordat de steekproef niet aselect was getrokken, of door non-respons), dan kun je proberen een correctie uit te voeren. Dat noemen we wegen. Je geeft ondervertegenwoordigde groepen dan een groter gewicht en oververtegenwoordigde groepen en kleiner gewicht. Helaas wordt niet gemeld of en hoe er is gewogen. We moeten het doen met de uitspraak van de Nijmeegse D66-campagneleider Tobias van Elferen die laat weten dat hem is gegarandeerd dat “het om een representatieve peiling gaat. Ik ga ervan uit dat we op de peiling kunnen vertrouwen”.

Vraag 9: zijn er onzekerheidsmarges gegeven?
De peiling van Maurice de Hond vermeldt geen onzekerheidsmarges bij de uitkomsten. Dat kan ook niet omdat er geen aselecte steekproef is getrokken. Maar als eerste indicatie zou je toch minsten de onzekerheidsmarges kunnen vermelden die uitgaan van een aselecte steekproef.

Als er geen onzekerheidsmarges zijn, dan kun je geen onderscheid meer maken tussen ‘echte’ verschillen en ‘ruis van de steekproef’. Neem, bijvoorbeeld, de twee grootste partijen D66 en GroenLinks. De peiling voorspelt 17% voor D66 en 16% voor GroenLinks. Dat is dus een verschil van slechts één procentpunt. De onzekerheidsmarges van beide voorspellingen zijn met ruim 4 procentpunten veel groter. We kunnen dus niet concluderen dat er een significant verschil is tussen de voorspellingen van D66 en GroenLinks. De bewering in de kop van het bericht in De Gelderlander (“D66 is de grootste van Nijmegen volgens Maurice de Hond”) is dus niet juist.

De grafiek hieronder toont de uitkomsten van de peiling en de werkelijke uitslag in grafische vorm. Het is een dotplot. De horizontale stippellijnen geven de verschillende partijen aan. De blauwe stippen zijn de prognoses van de peiling. De blauwe lijnstukken zijn verkregen door de onzekerheidsmarges op te tellen bij dan wel af te trekken van de prognoses. Het zijn dus betrouwbaarheidsintervallen. Duidelijk is te zien dat de betrouwbaarheidsintervallen van D66 en GroenLinks elkaar behoorlijk overlappen. Er is dus geen significant verschil tussen beide partijen.

Merk ook op dat er een groep van vijf partijen is waarvan de betrouwbaarheidsintervallen elkaar ook overlappen. Dat zijn Stadspartij Nijmegen, VVD, PvdD, SP en PvdA. Ook hier zijn er geen significante verschillen. Het is allemaal ruis van de steekproef. De volgorde had net zo goed een andere kunnen zijn.

De rode stippen in de dotplot geven de werkelijke uitslag weer. Als een rode stip buiten het betrouwbaarheidsinterval ligt, dan betekent dit dat er een significant verschil is tussen prognose en werkelijke uitslag. Dit blijkt alleen het geval te zijn bij de Stadspartij Nijmegen. De prognose voor deze partij was 5,2 procentpunten lager dan de werkelijke uitslag. Bij alle andere partijen ligt de werkelijke uitslag in het betrouwbaarheidsinterval.

Als je kijkt naar de werkelijke uitslag, dan is duidelijk dat D66 een stuk groter is dan GroenLinks. Er is een verschil van 7 procentpunten. De peiling was kennelijk niet in staat (als gevolg van de kleine steekproef) dit verschil te meten.

Conclusie

We kunnen concluderen dat dit geen slechte peiling was, ook al weten we niet hoe hij is opgezet en uitgevoerd. En ook al zit er flink wat tijd tussen de peiling en de verkiezingen. En ook al is er geen aselecte steekproef getrokken. Was hier misschien sprake van een toevalstreffer? Of was het gewoon een goede manier van peilen? Vermoedelijk zou je met een grotere steekproef interessantere uitkomsten hebben gehad. Nader onderzoek lijkt zinvol.