Leidsch Dagblad vliegt uit de bocht met peiling over Circuit Zandvoort
Inwoners van het gebied rond Circuit Zandvoort zijn nog enthousiaster over terugkeer van de Formule 1 dan mensen in de rest van Noord-Holland en de regio Leiden. Dat blijkt uit een representatieve onderzoek in opdracht van het Leidsch Dagblad. Aldus de uitgebreide berichtgeving hierover in deze krant op zaterdag 6 januari 2019. Helaas legt het Leidsch Dagblad niet uit hoe deze peiling is opgezet en uitgevoerd. Dat roept de vraag op in hoeverre de uitkomsten wel kloppen.
Peilers moeten transparant zijn. Dat zeggen diverse brancheorganisaties, zoals de MOA, de AAPOR en ESOMAR. Peilers moeten bij elke onderzoek een onderzoeksrapport maken waarin staat hoe de peiling precies is uitgevoerd. De eisen waaraan ieder onderzoeksrapport moet voldoen staan bijvoorbeeld beschreven in ‘Publiceren over marktonderzoek en opinie-onderzoek’ en ‘Checklist voor peilingen’. De peiling van het Leidsch Dagblad werd uitgevoerd door onderzoeksbureau MWM2. Deze peiler is lid van de MOA en je zou dus een behoorlijk onderzoeksrapport verwachten. Helaas is dit niet het geval.
Veel informatie over opzet en uitvoering van de peiling over het Circuit Zandvoort ontbreekt dus. We proberen om ons toch nog een beeld te vormen van het onderzoek op basis van de schaarse beschikbare informatie in de krant.
Laten we eerst vaststellen wat de doelpopulatie van de peiling is. Volgens de krant gaat het om de regio Zuid-Kennemerland (Bloemendaal, Haarlem, Haarlemmerliede, Heemstede en Zandvoort), de rest van de provincie Noord-Holland en de regio Leiden. Dat is een ruime (misschien wel te ruime) doelpopulatie. Je kunt je afvragen of mensen in Den Helder of op Texel echt wel een mening hebben over het circuit in Zandvoort.
In de krant kunnen we lezen dat de totale netto steekproef uit 335 personen bestond (150 uit Zuid-Kennemerland, en 185 uit de rest van Noord-Holland en de Leidsche regio). Dat is wel een bijzonder kleine steekproef. Je kunt je afvragen of je met zo weinig gegevens wel iets zinnig kunt zeggen over hoe de inwoners in het gebied rondom het circuit denken over een Formule 1. Waarom was die steekproef eigenlijk zo klein?
Hoe is de steekproef precies getrokken? De voorkeur gaat uit naar een aselecte steekproef uit de bevolking, want dan kun je de uitkomsten zien als een goede afspiegeling van wat er in de bevolking als geheel leeft. Helaas zijn veel peilingen tegenwoordig gebaseerd op steekproeven uit online panels. Die panels zijn vaak niet representatief en de steekproeven eruit dus ook niet. De krant geeft geen enkele informatie over de steekproeftrekking. Dus kunnen we niet concluderen dat de peiling representatief is.
De respons van de peiling bestond uit 335 personen. Dat is de netto steekproef. Dat is wat je overhoudt na afloop van het veldwerk. De peiler is ongetwijfeld begonnen met een grotere steekproef ( de bruto steekproef). Daarvan zullen heel wat mensen zijn afgevallen als gevolg van non-respons. De krant meldt alleen de omvang van de netto steekproef (335) en niet de omvang van de bruto steekproef). Dus kunnen we het percentage respons niet berekenen. Bedenk dat een laag percentage respons de representativiteit nog verder kan aantasten. Dus is het van belang de omvang van de bruto steekproef en het responspercentage te melden.
Door de wijze van trekken van de steekproef en het optreden van non-respons zal de respons ongetwijfeld niet representatief zijn. Is er een poging gedaan dit te repareren door het uitvoeren van een weging? Daarvoor zijn weegvariabelen nodig. Dat zijn variabelen die je meet in de peiling en waarvan je de verdeling in de doelpopulatie kent. Voorbeelden van veelgebruikte weegvariabelen zijn geslacht, leeftijd, opleidingsniveau en regio. In de berichtgeving van het Leidsch Dagblad is niets terug te vinden over een weging. Het akelige vermoeden komt op dat er niet is gewogen is omdat er sprake is van een speciale doelpopulatie (Zuid-Kennemerland, rest Noord-Holland en regio Leiden), waarvoor de verdeling van potentiële weegvariabelen vast niet bekend is. Als er inderdaad niet is gewogen, dan kunnen verwachten dat de uitkomsten niet representatief zijn.
Het Leidsch Dagblad strooit met allerlei cijfers. Zo is 27% van de ondervraagden in Zuid-Kennemerland het heel erg eens met de stelling ‘Nederland is toe aan Formule 1 op eigen bodem’. Hoe hard zijn die cijfers? Met deze mate van detail suggereert de krant een mate van exactheid die er in werkelijkheid niet is. Zelfs al is de steekproef aselect getrokken en treedt er geen non-respons op (of is de non-respons niet selectief), dan nog hebben we te maken met de ‘ruis’ in de steekproef. We kunnen uitrekenen hoe ver de schatting van de peiling en het werkelijke cijfer maximaal uit elkaar kunnen liggen. Dat is de onzekerheidsmarge. Onzekerheidsmarges zijn groter naarmate de steekproef kleiner is. Bijvoorbeeld, de onzekerheidsmarge van de hiervoor genoemde 27% is ongeveer 7 procentpunten. Dit betekent dat het werkelijke percentage voorstanders met grote waarschijnlijkheid ligt tussen de 20% en 34%. Deze wel heel ruime marge is het gevolg van een wel heel kleine steekproef (150) in Zuid-Kennemerland. Je geeft een eerlijker beeld door het publiceren van deze marges in plaats van alleen de ‘kale’ percentages.
We moeten helaas de conclusie trekken dan het Leidsch Dagblad onvoldoende informatie geeft over opzet en uitvoering van de peiling over Circuit Zandvoort. Daardoor kan het gebeuren dat lezers meer waarde hechten aan de uitkomsten dan gerechtvaardigd is. Hopelijk komt de krant nog met aanvullende methodologische informatie.
