PeilingPraktijken

‘Nederland past de vakantieplannen aan door schitterend zomerweer’. Dit bericht stond op 31 juli 2018 op de website van de ANWB. Kennelijk was dit de uitkomst van een peiling die door de ANWB was uitgevoerd. De bewering in de kop van het bericht was wel heel verstrekkend. Hij suggereert dat alle Nederlanders hun vakantieplannen wijzigingen. Klopt die uitspraak wel? Kan je die conclusie inderdaad trekken uit de peiling? Nou, nee. Dat blijkt uit nader onderzoek.

Een essentiële component van een goede peiling is een onderzoeksrapport waarin precies staat hoe de peiling is opgezet en uitgevoerd. Helaas ontbreekt dat rapport bij de peiling van de ANWB. We moeten het doen met de informatie die is te vinden op de ANWB-website:

• Er is een steekproef van 3000 leden getrokken uit het ledenbestand van de ANWB.
• Bijna 1500 leden in de steekproef beantwoorden de vragen in de peiling.

Dat is alles. Daarmee blijven veel zaken onduidelijk. Laten we beginnen met de doelpopulatie. De kop van het artikel (‘Nederland past vakantieplannen aan …’) suggereert dat de doelpopulatie uit alle Nederlanders bestaat. De steekproef is echter getrokken uit het ledenbestand van de ANWB. Dit geeft aan dat de doelpopulatie bestaat uit alle leden van de ANWB. De kop van het bericht is dus fout. Hij had moeten luiden: ‘ANWB leden passen vakantieplannen aan …’.

Er is een steekproef van 3000 leden getrokken uit het ledenbestand van de ANWB. Daarvan wilden bijna 1500 leden meedoen aan de peiling. Dat is een respons van minder dan 50 procent. Dat is niet veel. Het is bekend dat non-respons ernstige gevolgen kan hebben voor de validiteit van de conclusies. De uitkomsten kunnen ernstig vertekend zijn. En hoe kleiner de respons is, des te groter de problemen zijn. Met een respons van minder dan 50 procent lopen de peilers een groot risico op verkeerde uitkomsten. Grote voorzichtigheid is dus geboden.

Als onderzoekers worden geconfronteerd met non-respons, dan moeten ze een correctie uitvoeren. Dit komt meestal neer op het toepassing van een wegingstechniek. Daarbij krijgen ondervertegenwoordigde groepen een hoger gewicht en oververtegenwoordigde groepen een lager gewicht. Daardoor wordt de omvang van vertekeningen verminderd.

Helaas blijkt uit de website van de ANWB niets van een correctie voor non-respons. Er is bij deze peiling in feite sprake van gebrek aan representativiteit in twee stappen: De gerealiseerde steekproef (de 1500 respondenten) is niet representatief voor alle leden van de ANWB. En de ANWB-leden zijn niet representatief voor alle Nederlanders. We kunnen de uitkomsten van deze peiling niet generaliseren. Daarom is dit een twijfelachtige peiling.

Er is uiteraard contact gezocht met de ANWB. Er is per e-mail gevraagd om meer informatie over opzet en uitvoering van de peiling. En er is gevraagd om een exemplaar van het onderzoeksrapport. Helaas kwam er van de ANWB geen enkele reactie. Ook dit draagt niet bij aan het vertrouwen in een valide peiling. Het is daarom beter geen aandacht aan deze peiling te besteden.