PeilingPraktijken

Bent u tevreden over het regeerakkoord of juist teleurgesteld? Gaan we – politiek gezien – mooie jaren tegemoet, of bent u juist somber gestemd? Deel uw mening met ons. Zo werd het NRC-lezersonderzoek aangekondigd op 10 oktober 2017. Je kon gelijk de vragenlijst starten door op het onderstaande plaatje te klikken. Op 14 oktober werden de uitkomsten van dit onderzoek bekend gemaakt. Je kunt je afvragen of dit nu een representatief onderzoek is? Nou nee, dit is niet het geval.

De vragenlijst (met 11 vragen) stond op de website van de NRC. Iedereen die op het bovenstaande plaatje klikte, kon die vragenlijst invullen. Dit is dus typisch een geval van zelfselectie. Je hebt dan als onderzoeker helemaal geen controle over wie de vragenlijst invult. Daardoor zijn dit soort peilingen meestal niet representatief.

Uiteraard moeten alleen leden van de doelpopulatie meedoen. Maar wat is die doelpopulatie eigenlijk? Zijn het alleen de lezers van het NRC? Of misschien de lezers van 18 jaar en ouders? Of de bezoekers van de website? Of alle Nederlanders? Of alle Nederlanders van 18 jaar en ouder? Dat staat nergens. Het is dus onduidelijk op welke groep de uitkomsten slaan.

Voor een representatief onderzoek is het belangrijk dat iedere respondent de vragenlijst maar ten hoogste één keer kan invullen. Weliswaar kun je bij dit onderzoek de vragenlijst per computer maar één keer invullen, maar je kunt het rustig op een andere computer nog een keer doen. Ik heb zelf de vragenlijst drie keer ingevuld: op mijn desktopcomputer, op mijn laptop en op mijn smartphone. De bevordert zeker niet de representativiteit.

Een peiling op basis van zelfselectie maakt het zelfs mogelijk de uitkomsten te manipuleren. Hier een greep uit de diverse voorbeelden:

• Bij een peiling voor de Tweede Kamerverkiezingen in 2012 probeerde een groep van 2500 ‘infiltranten’ zich aan te melden bij het online panel van Maurice de Hond. Het idee was om zich aanvankelijk te presenteren als CDA-stemmer en dan langzamerhand over te gaan naar 50PLUS. De actie werd ontdekt omdat er ineens wel heel veel aanmeldingen tegelijk binnen kwamen. Het laat echter wel zien dat met een wat subtielere aanpak dit soort peilingen te manipuleren is. Zie: Over zelfselectie en manipulatie.
• Tijdens de campagne voor de gemeenteraadsverkiezingen van 2014 werd in Amsterdam. lijsttrekkersdebat georganiseerd. Het Parool wilde weten hoe de lijsttrekkers het hadden gedaan en organiseerde een online peiling. De campagneteams van twee partijen (SP en D66) merkten dat je na het uitzetten van cookies op je computer je onbeperkt kon stemmen. De hele nacht bleven ze stemmen uitbrengen op hun lijsttrekker. Dus kregen de lijsttrekkers van deze partijen disproportioneel meer stemmen dan de lijsttrekkers van de andere partijen. Zie: Slechte peiling, gemanipuleerde uitslag.
• Eind 2016 organiseerde het radioprogramma Bureau Buitenland de verkiezing van de ‘Graaier van het jaar’. Het ging om het kiezen van de meest corrupte autoritaire leider. De luisteraars konden via een peiling op basis van zelfselectie. Jacob Zuma werd de ‘winnaar’. Later bleek dat er een votebot in het spel was. Dat is een computerprogramma dat automatisch een gewenste stem vele malen uitbrengt. Zie: Graaier van het jaar.

Merk op dat je dit soort problemen niet hebt als je een nette aselecte steekproef trekt. Je kunt er dan immers voor zorgen dat alleen personen uit de doelpopulatie worden geselecteerd, dat die personen ook hooguit één keer mee kunnen doen, en dat iedereen in de doelpopulatie dezelfde kans heeft om in de steekproef te komen.

Ondanks een waarschuwing (via Twitter) werd het onderzoek toch op deze krakkemikkige manier uitgevoerd. In totaal 1350 mensen vulden de vragenlijst in. Op 14 oktober werden de uitkomsten van de peiling in de krant bekend gemaakt. De waarschuwing was kennelijk wel doorgekomen, want in de krant stond onderstaande verantwoording opgenomen:

De NRC meldt dus dat de peiling inderdaad niet representatief is. Volgens de krant gaat het echter niet om representativiteit maar om journalistiek. Kennelijk heb je voor journalistieke verhalen geen representatief beeld nodig. Dat lijkt op gespannen voet te staan met het doel van het onderzoek en dat is meer te weten komen over de thema’s die onder de lezers leven. Als het onderzoek niet representatief is, kom je er immers ook niet achter welke thema’s belangrijk zijn en welke niet.

Het verslag van het onderzoek bestaat voornamelijk uit de reacties van een stuk of 16 respondenten. Het zijn een soort voxpops (de stemmen van het volk). Dus uit een niet representatieve steekproef van 1350 personen worden op onduidelijke wijze 16 personen geselecteerd. En alleen hun meningen zie je terug in de krant. Wat moet je met dit verhaal? In ieder geval niet denken dat dit een goede afspiegeling is van hoe de Nederlanders denken over het regeerakkoord. Zo constateert de NRC dat veel respondent en ‘aangenaam verrast en overwegend positief’ zijn. Maar dat mag je dus niet vertalen naar de hele doelpopulatie.

Een onderzoek als dit zou zoveel waardevoller zijn geweest als er een nette aselecte steekproef was getrokken en er was gecorrigeerd voor een mogelijk gebrek aan representativiteit. Een gemiste kans!