PeilingPraktijken

Jongeren hebben een kans van 46% op pech tijdens de wintersport, zoals staken van de vakantie door een val, ziekenhuisopname, doktersbezoek en schade aan de ski-uitrusting. Zo vatte de ANWB op haar website de uitkomsten samen van een onderzoek naar problemen van jongeren tijdens wintersportvakanties. Dat lijkt een schokkend hoog cijfer. Het betekent immers dat de helft van de jongeren op wintersport in de problemen komt. Klopt dat cijfer wel?

Nee, dat cijfer klopt niet. Bij doorlezen van het bericht op de website blijkt dat het onderzoek is uitgevoerd onder jongeren die de afgelopen vijf jaar op wintersport zijn geweest. Pech kan dus ook betekenen dat er in vijf opeenvolgende vakanties één keer iets mis is gegaan. Daarmee is de pechkans per vakantie veel minder dan 46%.

Bij onduidelijk berichtgeving over een onderzoek, is het altijd goed om eens nader te bekijken hoe dat onderzoek in elkaar zit. We doen dit hier en maken daarbij gebruik van Checklist voor peilingen. Deze checklist is opgesteld door het Centraal Bureau voor de Statistiek (CBS), de Vereniging voor Onderzoeksjournalisten (VVOJ) en het Nederlandstalig Platform voor Survey-onderzoek (NPSO). Hij is bijvoorbeeld te downloaden van www.peilingpraktijken.nl. Die checklist bestaat uit negen vragen. De antwoorden daarop geven meestal een goede indruk van de betrouwbaarheid van een peiling. We lopen die vragen één voor één langs.

1. Wie is de opdrachtgeven van het onderzoek?

Deze informatie is van belang omdat je daarmee kunt vaststellen of de opdrachtgever van de peiling belang heeft bij bepaalde uitkomsten. In dit geval gaat het om de ANWB. En die heeft zeker belang bij bepaalde uitkomsten, want deze organisatie verkoopt reisverzekeringen. En hoe meer leed er gebeurt op vakantie, hoe groter de kans is dat iemand een reisverzekering aanschaft. Sterker nog: op de pagina waarop de uitkomsten van de peiling staan beschreven, kun je ook alvast de premie van je reisverzekering uitrekenen.

Het antwoord op deze eerste vraag is eigenlijk al voldoende om de peiling te wantrouwen. De waarde van de peiling zou aanzienlijk groter zijn geweest als de verzameling, analyse en publicatie van de gegevens door een onafhankelijke organisatie zou zijn gedaan. Nu kun je je afvragen of dit onderzoek niet een vermomde reclamecampagne is.

2. Is er een onderzoeksrapport?

Bij een peiling hoort een onderzoeksrapport. Daarin staan niet alleen de uitkomsten van de peiling, maar ook een verantwoording van de manier waarop je die peiling hebt uitgevoerd. Aan de hand van zo’n rapport moet je kunnen vaststellen of het om een betrouwbaar onderzoek gaat.
Helaas bevatte de website van de ANWB geen enkele informatie over de opzet en uitvoering van de peiling. De enige wat je kunt vinden is dat de peiling is uitgevoerd in samenwerking met Multiscope.

Navraag bij de ANWB leert dat er helemaal geen onderzoeksrapport was. Men gaf echter wel antwoord op concrete vragen over de peiling.

3. Wat is de doelpopulatie?

De doelpopulatie is de groep van mensen waaruit je de steekproef voor een peiling trekt en waarop de uitkomsten van die peiling dus betrekking hebben. De doelpopulatie moet duidelijk zijn omschreven.

Wat zou de doelpopulatie van deze ANWB-peiling zijn? De website is daar niet duidelijk over. Gaat het om alle Nederlanders? Of alle Nederlanders die wel eens op wintersport zijn geweest? Of om ANWB-leden die wel eens op wintersport zijn geweest? Of misschien waren het wel personen die wel eens een reisverzekering hebben afgesloten bij de ANWB.

Navraag bij de ANWB leerde dat het om jongeren gaat die de laatste vijf jaar minstens één keer op wintersport zijn geweest. En met jongeren wordt dan bedoeld personen van 18 t/m 25 jaar. De uitkomsten van de peiling zijn dus alleen van toepassing op deze groep.

4. Hoe zit het met de kwaliteit van de vragenlijsten?

Het bericht bevatte geen informatie over de vragenlijst. En er was ook geen onderzoeksrapport met daarin de vragenlijst. Een goede vragenlijst is van cruciaal belang. Het is niet zo moeilijk om met suggestieve vragen, of met een bepaalde volgorde van de vragen, de respondenten te beïnvloeden. Daarom is het belangrijk de vragenlijst te kunnen bekijken. Helaas …

5. Hoe is de steekproef getrokken?

Het bericht op de website van de ANWB is volstrekt onduidelijk over hoe de steekproef is getrokken. Er zou een aselecte steekproef uit de doelpopulatie getrokken moeten zijn. Alleen dan kun je de uitkomsten van de peiling generaliseren naar de hele doelpopulatie. Is dat ook gebeurt? Deze informatie zou toch vermeld moeten zijn op de website.

Navraag bij de ANWB leert dat voor deze peiling gebruik is gemaakt van een web-panel van Multiscope. Eerst zijn uit dit panel personen geselecteerd die wel eens op wintersport zijn geweest. Vervolgens is men net zo lang doorgegaan met het selecteren van personen uit deze groep tot er 100 mannelijke jongeren en 100 vrouwelijke jongeren waren. Zo ontstond uiteindelijk een steekproef van 200 jongeren die wel eens op wintersport zijn geweest.
De grote vraag is nu of deze steekproef representatief is voor alle jongeren in Nederland die wel eens op wintersport zijn geweest. Daarbij vallen twee belangrijke kanttekeningen te maken. In de eerste plaats komt de steekproef uit het web-panel van Multiscope. Dit soort panels is in het algemeen niet representatief. Er zitten alleen mensen in die het leuk vinden om aan peilingen mee te doen of die zo willen sparen voor allerlei cadeaus. Vanwege deze problemen is het advies van de American Association of for Public Opinion Research (AAPOR): ‘Researchers should avoid nonprobability online panels when one of the researcher objectives is to accurately estimate population values’.

In de tweede plaats negeer je de negatieve effecten van non-respons. Jongeren die niet mee willen doen aan de peiling, zijn vervangen door jongeren die wel mee willen doen. Er is immers doorgegaan tot men een steekproef van 200 jongeren had. Er is geen enkele garantie dat respondenten en non-respondenten op elkaar lijken voor wat betreft pech tijdens de wintersport.

6. Hoe groot was de steekproef?

In het bericht op de website van de ANWB staat niets over de omvang van de steekproef. Deze informatie is in het algemeen toch wel belangrijk, want het vertelt je iets over de nauwkeurigheid van de uitkomsten van de peiling. Des te groter de omvang van de steekproef, des te nauwkeuriger de uitkomsten.
Bij het antwoord op de vorige vraag was al gebleken dat de omvang van de steekproef 200 was. Dat is een toch wel kleine steekproef. Het betekent dat je rekening moet houden met flinke onzekerheidsmarges.

7. Hoe groot is de non-respons?

Er zijn ongetwijfeld jongeren in het web-panel die wel zijn uitgenodigd voor de peiling, en die daaraan niet hebben meegedaan, om wat voor reden dan ook. In de berichtgeving over de peiling is over deze non-respons echter niets terug te vinden.
Non-respons kan tot aanzienlijke vertekeningen leiden bij de uitkomsten van de peiling. Daarom moet het percentage respons altijd worden vermeld. Is dit percentage hoog, zeg hoger dan 80%, dan hoef je je niet zo’n zorgen te maken over vertekeningen. Is de respons laag, zeg lager dan 50%, dan loop je een ernstig risico op grote vertekeningen.

8. Is er voor non-respons gecorrigeerd?

Als zich non-respons voordoet in een peiling, dan moet je hiervoor proberen te corrigeren. Het is gebruikelijk om een weging uit te voeren, waarbij je ondervertegenwoordigde groepen zwaarder laat meetellen, en oververtegenwoordigde groepen minder zwaar. Een effectieve weging kan zo vertekening ten gevolge van non-respons verminderen. Helaas leerde navraag bij de ANWB dat er geen weging is uitgevoerd. Dus er is niet gecorrigeerd voor een eventuele vertekening ten gevolg van non-respons.

9. Zijn er onzekerheidsmarges gegeven?

Zelfs als je een peiling perfect uitvoert, en er heeft zich geen non-respons voorgedaan, dan nog hebben de uitkomsten onzekerheidsmarges. Die ontstaan omdat je met een steekproef werkt in plaats van met de hele doelpopulatie. Die onzekerheidsmarges moeten je bij de uitkomsten vermelden. Daardoor kun je onderscheid maken tussen echte (significante) verschijnselen en ruis veroorzaakt door de steekproef.

Een voorbeeld. Stel alles is perfect verlopen bij de peiling van de ANWB en je hebt een keurige aselecte steekproef van 200 personen. Daarvan zegt 46% wel eens pech te hebben gehad tijdens de wintersport. Bij die 46% hoort een onzekerheidsmarge van 7% procentpunten. Dit betekent dat het percentage met pech in de doelpopulatie zal liggen ergens tussen 39% en de 53%.

Conclusie

De antwoorden op bovenstaande negen vragen leveren een bedenkelijk beeld op van de kwaliteit van de peiling van de ANWB. Daarnaast moet je vraagtekens zetten bij de conclusies die de ANWB uit dit onderzoek trek. Een eerste blik op het bericht suggereert dat bijna de helft (46%) van de jonge wintersportgangers elk jaar weer te maken krijgt met pech. Als je het bericht dan echt gaat lezen, dan blijkt het allemaal veel minder erg te zijn. Je vraagt je dan af of de ANWB de zaken misschien bewust slechter voorstelt om zo meer verzekeringen te kunnen verkopen. Kortom, is hier sprake van een misleidende reclame of een slechte peiling? Of misschien wel allebei?