PeilingPraktijken

Stand.nl is een radioprogramma dat dagelijks (op werkdagen) wordt uitgezonden op NPO Radio 1. In het programma komt dagelijks een actuele kwestie aan de orde met een actuele stelling. De luisteraars kunnen over de stelling online of per telefoon stemmen (eens of oneens). Als peiling zit Stand.nl niet goed in elkaar. Het is geen representatieve peiling en dus kun je de uitkomsten niet generaliseren naar de hele bevolking. We illustreren de tekortkomingen van deze peiling aan de hand van een voorbeeld.

Op 30 december 2020 was de stelling “Iedereen moet uit solidariteit thuisblijven met oud en nieuw”. Nadat bijna 1300 respondenten gereageerd hadden op de stelling, bleek dat 56% voor de stelling was. De vraag is nu of je deze uitslag kunt generaliseren naar de hele bevolking. Kun je zeggen dat 56% van de bevolking voorstander is van thuisblijven met oud en nieuw? Helaas, dat kan niet want er is geen sprake van een representatief onderzoek. De deelnemers aan deze peiling vormen geen goede afspiegeling van de bevolking.

De peilers van Stand.nl vragen de respondenten niet alleen naar hun mening over de stelling. De respondenten moeten ook hun geslacht en hun leeftijd opgeven. Voor de leeftijd worden vier klassen onderscheiden: 0-20 jaar, 20-40 jaar, 40-60 jaar en 60 jaar en ouder. Je kunt dus vaststellen hoeveel mannen en vrouwen er in de peiling zitten en of de percentages mannen en vrouwen in de peiling overeen komen met de percentages mannen en vrouwen in de hele bevolking.

In de grafiek hieronder is die vergelijking gemaakt. De oranje staven geven de percentages mannen en vrouwen in de bevolking weer. Duidelijk is te zien dat er ongeveer evenveel mannen als vrouwen zijn. De blauwe staven staan voor de percentages mannen en vrouwen in de peiling. Er is iets mis hier. Er zitten te weinig vrouwen in de peiling (40,6% in plaats van 50,3%) en er zitten teveel mannen in (59,4% in plaats van 49,7%). In beide gevallen is er sprake van een afwijking van ongeveer 10 procentpunten.

We kunnen ook voor het kenmerk leeftijd de verdeling in de bevolking vergelijken met die in de peiling. Het resultaat staat in de grafiek hieronder. De problemen met de representativiteit blijken ook hier groot te zijn.

De ouderen zijn zwaar oververtegenwoordigd in Standpunt.nl. In de peiling is 44,6% 60 jaar of ouder en in de bevolking als geheel is dit maar 25,9%. Een afwijking van 18,7 procentpunten dus! Ook de middelbaren tussen de 40 en 60 jaar zijn behoorlijk oververtegenwoordigd. Er is hier sprake van een afwijking van 12,8 procentpunten.

Bij de jongeren zie je het omgekeerde effect. Die jongeren (0-20 jaar en 20-40 jaar) zijn juist ondervertegenwoordigd in de peiling. De situatie is vooral ernstig voor de jongeren in de groep 0-20 jaar. De peiling zou voor 21,7% (één op de vijf) uit deze jongeren moeten bestaan, maar het is slechts een minimaal percentage van 1,4%.

Mannen zijn dus oververtegenwoordigd in de peiling en vrouwen zijn ondervertegenwoordigd. Dat betekent dat de mening van vrouwen onvoldoende doorklinkt in de resultaten. Ook zijn ouderen oververtegenwoordigd en jongeren ondervertegenwoordigd. De mening van jongeren klink dus onvoldoende door. We moeten concluderen dat deze peiling niet representatief is en we dus de uitkomsten niet kunnen vertalen naar de hele bevolking.

Waarom wijkt de samenstelling van de peiling zo af van die van de populatie? Dat komt omdat de steekproef niet op correcte wijze is getrokken. Bij voorkeur trek je als onderzoeker een aselecte steekproef. Daarbij heeft iedereen dezelfde kans om in de steekproef te komen. Je steekproef is dan dus representatief. Bij Stand.nl wordt gebruikt gemaakt van zelfselectie. Iedereen die dat wil, kan meedoen. Je krijgt alleen mensen in de steekproef die spontaan besluiten mee te doen. Die dus gemotiveerd en geïnteresseerd zijn. Het zijn vooral mensen die elke ochtend naar het radioprogramma luisteren. Dat leidt niet tot een representatieve steekproef.

Als een peiling niet representatief is, kun je proberen een correctie uit te voeren. Dat kan via een procedure die we wegen noemen. De mensen van Stand.nl hebben dat helaas niet gedaan. Het zou echter wel kunnen. We schetsen hier hoe je dit zou kunnen doen.

Omdat we verdeling naar geslacht en de leeftijdsverdeling in de peiling en in de bevolking kennen, kunnen we gewichten bepalen die corrigeren voor onder- of over vertegenwoordiging van bepaalde groepen. Als we dat doen, dan krijgen bijvoorbeeld jonge vrouwen (0-20 jaar) een groot gewicht van ruim 22,91. En oude mannen (60+) krijgen juist een klein gewicht van 0,43. Zo wordt de zaak, althans voor wat betreft geslacht en leeftijd weer rechtgetrokken.

Als je nu opnieuw het percentage voorstanders van thuisblijven uitrekent (maar dan gewogen), kom je uit op 39%. Dat is een stuk lager dan het ongewogen percentage van 56%! We kunnen verwachten dat 39% een betere benadering is van het percentage voorstanders in de bevolking. Het oorspronkelijke percentage was dus veel te rooskleurig. Er is geen meerderheid van 56% voorstanders maar een meerderheid van 61% tegenstanders.

De mensen van Standpunt.nl vroegen alleen naar geslacht en leeftijd. Daarom kunnen we alleen voor deze twee variabelen het gebrek aan representativiteit analyseren en corrigeren. Je kunt echter verwachten dat nog meer kenmerken een rol spelen. Je zou bijvoorbeeld kunnen denken aan kenmerken als opleidingsniveau en stemgedrag bij de vorige verkiezingen. Je kunt die kenmerken echter alleen gebruiken als je ze meet in de peiling. Helaas is dit nu niet het geval.

We kunnen concluderen dat de uitkomsten van deze peiling geen goede afspiegeling zijn van wat er leeft in de bevolking. Het zou goed zijn als de redactie van Stand.nl daarvan melding maakte bij de presentatie op de radio en de verslaggeving op hun website. Ook zou de redactie kunnen overwegen om gewogen uitkomsten te publiceren in plaats van ongewogen uitkomsten.