Pas op voor zelfselectie!

Als je een peiling wilt uitvoeren, dan moet je een steekproef trekken uit de te onderzoeken populatie. Voor een goede, representatieve peiling moet je een aselecte steekproef trekken. Je moet de steekproef dus loten uit de populatie. Helaas komen veel steekproeven tot stand via zelfselectie. Dan kan iedereen die dat wil, de vragenlijst invullen. Dus ook personen die niet behoren tot de populatie. Soms kun je de vragenlijst zelfs meer dan één keer invullen. Dit leidt tot steekproeven die meestal verre van representatief zijn. Het Pew Research Center in de VS deed onderzoek. Deze organisatie gaf onlangs een paar duidelijk voorbeelden van wat er mis kan gaan bij zelfselectie. Ze noemen dit soort peilingen overigens opt-in polls.

Uitgangspunt in dit onderzoek was een peiling van het marktonderzoekbureau YouGov in opdracht van het weekblad The Economist. Het onderzoek van het Pew Research Center richtte zich op twee vragen in de peiling. In de eerste vraag moesten de respondenten hun mening geven over de stelling “The Holocaust is a myth”.  

Figuur 1. Is de Holocaust een mythe?

De peiling van The Economist was gebaseerd op zelfselectie (opt-in). De steekproef bestond uit 1500 personen. De peiling werd uitgevoerd van 2 t/m 5 december 2023. De antwoorden zijn in oranje weergeven in figuur 1, en aangegeven met “opt-in”. De score voor de groep jongeren (“Ages 18-29”) valt wel heel erg op. Kennelijk denkt 20% van die jongeren dat er geen Holocaust is geweest. Dit is een wel onwaarschijnlijk hoog percentage!

Het Pew Research Center besloot tot nader onderzoek. Met het eigen “American Trends Panel” deed Pew de peiling overnieuw. Dit panel is gebaseerd op een nette, aselecte steekproef van adressen. Daarom kun je de peiling als representatief beschouwen. De peiling werd uitgevoerd 16 t/m 21 januari 2024. De steekproef had een respons van 5140 personen. Met een uitgebreide weging werden de uitkomsten gecorrigeerd voor een eventueel gebrek aan representativiteit. Dit is dus een methodologisch verantwoorde peiling.

Figuur 1 bevat de uitkomsten van deze peiling voor de vraag over de Holocaust. Het betreft de blauwe cijfers. Opvallend is het grote verschil tussen de percentages voor de jongeren in de twee peilingen. In de peiling van The Economist is 20% van mening dat de Holocaust een mythe is, en bij de peiling van Pew is dit maar 3%. Er is ook nog sprake van een redelijk groot verschil bij de leeftijdsgroep van 30 t/m 44 jaar. We moeten de conclusie trekken dat de peiling van The Economist ernaast zit, omdat hun peiling niet representatief is.

In het onderzoek van The Economist zat nog een tweede gevoelige vraag. Aan de respondenten werd gevraagd of abortus verboden moet worden, of alleen in speciale gevallen moet worden toegestaan. Ook deze vraag is herhaald in de eigen peiling van Pew (het American Trends Panel). Zie figuur 2.

Figuur 2. Moet abortus verboden worden?

Ook bij deze vraag is er een probleem met de antwoorden van de jongeren. Volgens de opt-in peiling van The Economist is bijna de helft van de jongeren (48%) tegen abortus, terwijl in de peiling van Pew het percentage (23%) heel veel lager is. Ook hier moeten we weer concluderen dat de peiling van de The Economist de plank misslaat.

De onderzoekers van het Pew Research Center signaleren in hun rapport nog een ander probleem met zelfselectie-peilingen. Verschillende studies hebben gesignaleerd dat dit soort peilingen veel “bogus respondents” bevatten. Deze respondenten geven geen eerlijke antwoorden op de vragen, maar proberen de vragenlijst met zo weinig mogelijke moeite in te vullen. Dit gebeurt vooral bij peilingen waarbij het invullen van de vragenlijst beloond wordt, met een geldbedrag of een andere beloning. Uit onderzoek is ook gebleken dat in zelfselectie-peilingen ongebruikelijk meningen of gedrag wordt overschat.

Het Pew Research Center geeft nog een bizar voorbeeld van wat er mis kan gaan bij zelfselectiepeilingen. Dat is een peiling waarin aan de respondenten werd gevraagd of ze een licentie hebben om een klasse SGNN-duikboot te besturen. Het gaat hierom grote duikboten met geleide wapens en kernaandrijving. De uitkomsten staan in figuur 3.

Figuur 3. Heeft u een licentie voor het besturen van een duikboot?

Van de jongeren in de peiling (“18-29”) geeft 12% een licentie voor een duikboot te hebben. Dat is een belachelijke uitkomst. Dit percentage is veel te hoog, want de groep Amerikanen met een duikboot-licenties is heel erg klein. De omvang van deze groep in de populatie is afgerond vrijwel 0%.

Kortom, pas op met zelfselectie (opt-in) peilingen! Meer informatie over het onderzoek van Pew is te vinden in:

https://www.pewresearch.org/short-reads/2024/03/05/online-opt-in-polls-can-produce-misleading-results-especially-for-young-people-and-hispanic-adults/

Voorbeelden van Nederlandse zelfselectie-peilingen zijn te vinden:

https://www.vvsor.nl/wp-content/uploads/2023/03/STAtOR___2023___1.pdf