PeilingPraktijken

Kan Zwarte Piet zwart blijven of moeten de hulpen van Sinterklaas een andere kleur krijgen? Steeds weer laait de discussie over dit belangwekkende probleem op. En dus zijn er ook steeds weer peilingen die de mening van de Nederlandse bevolking hierover meten. Op 9 november 2015 was het weer zover. RTL Nieuws kwam met de uitkomsten van een nieuwe peiling. Daaruit bleek dat de meeste mensen willen dat Zwarte Piet zwart blijft. Het bericht bevatte echter geen enkele informatie over de manier waarop de peiling was uitgevoerd. Kunnen we dit bericht dan wel geloven?

Het bericht op de website van RTL Nieuws ging vergezeld van een aantal tabellen met de uitkomsten voor verschillende vragen in de peiling. Een stukje van een van die tabellen is hieronder gereproduceerd:

Uit deze tabel valt bijvoorbeeld af te lezen dat bijna driekwart van de personen van 35 jaar en ouder vindt dat alle pieten zwart of bruin geschminkt moeten zijn. Bij de jongeren (van 18 t/m 34 jaar) ligt het percentage iets lager: 62%. RTL Nieuws concludeert dat veruit de meeste mensen vinden dat Zwarte Piet zwart moet blijven. Die conclusie kun je echter alleen maar trekken als de peiling goed is opgezet en uitgevoerd. Is dat zo? Het bericht van RTL Nieuws biedt daarvoor geen enkel aanknopingspunt. Een e-mailtje met een verzoek om meer informatie over het onderzoek wordt gelukkig snel beantwoord door de redactie. Daaruit valt alleen af te leiden dat in totaal 520 personen hebben meegedaan aan de peiling. Dat zijn er niet zoveel, zeker niet als je de uitkomsten ook nog eens uitsplitst naar leeftijdscategorie.

Een voorbeeld: 137 respondenten zitten in de leeftijdscategorie van 18 t/m 34 jaar. In die categorie wil 62,0% dat Zwarte Piet zwart blijft. Bij dit percentage hoort een onzekerheidsmarge van 8,2%. Dit betekent dat het werkelijke percentage in de hele bevolking (van 18 t/m 34 jaar) zal liggen tussen de 53,8% en 70,2%. Het is dus overdreven om, zelfs met één decimaal achter de komma, te concluderen dat dit percentage gelijk is aan 62,0%. Dit suggereert een exactheid die er helemaal niet is. Het is beter om te zeggen dat het percentage ergens tussen de 54% en 70% ligt. Een flinke onzekerheid, maar dat krijg je met zo’n kleine steekproef.

Je kunt onzekerheidsmarges alleen uitrekenen als de steekproef netjes is geloot. Helaas geeft de redactie van RTL Nieuws daarover geen informatie. In de e-mail zegt de redactie zelfs:

In onze uitzendingen en op onze website richten onze berichten zich enkel op de uitslagen van de enquête, aangezien de gemiddelde kijker/lezer weinig kennis zal hebben van enquête-methodiek.

En verder zegt de redactie (heel eerlijk) ook nog:

Dat laatste geldt overigens ook voor ons, als journalisten weten wij ook niet alles over enquête-methodiek.

Kortom, je hoeft je niet te verantwoorden voor je peiling omdat de kijkers/lezers en de redactie er toch geen verstand van hebben.

De redactie van RTL Nieuws had het bureau DVJ Insights ingeschakeld voor de uitvoering van de peiling. Op verzoek van de redactie leverde dit bureau wel de informatie waarmee je inzicht kon krijgen in de kwaliteit van de peiling. DVJ Insights heeft kennelijk een panel waarin ongeveer 65.000 personen zitten. Daaruit is een aselecte steekproef van 2057 personen getrokken. Daarvan hebben er 520 uiteindelijk meegedaan. Dat is een respons van ongeveer 25%. Dat is niet veel. Slechts 1 op de 4 deed dus mee. Die non-respons kan de representativiteit ernstig aantasten.

Verder kun je je afvragen of het panel wel representatief is. Vormen die 65.000 mensen wel een goede afspiegeling van de Nederlandse bevolking? Navraag bij DVJ Insights leert dat het panel is gevuld via wervingsacties op sociale media, met leden die vrienden of kennissen werven en met mensen die zich aanmelden via de website. Dit lijkt in de verste verte niet op een aselecte steekproef. Er is geen enkel garantie dat dit panel representatief is. En dus is de aselecte steekproef uit het panel ook niet representatief.

Het zou heel goed kunnen dat bepaalde groepen (zoals allochtonen) ernstig ondervertegenwoordigd zijn. Dat blijkt in veel van dit soort panels het geval te zijn. En dan kunnen er wel eens flinke vertekeningen zitten in de uitkomsten van de peiling over Zwarte Piet. Je loopt een groot risico dat de percentages voorstanders van een zwarte Zwarte Piet veel te hoog zijn.
DVJ Insights heeft geprobeerd het gebrek aan representativiteit te verbeteren door het uitvoeren van een weging. De respons is representatief gemaakt met betrekking tot de variabelen geslacht en leeftijd. Dit is een wel heel simpele weging die vrijwel geen effect zal hebben.

Je kunt de conclusie trekken dat dit onderzoek over Zwarte Piet toch wel erg rammelt. De peiling zal niet representatief zijn. Daarom moet je de uitkomsten met een korreltje zout nemen.

Misschien wel ernstiger is het dat lezers/kijkers en de redactie niet kunnen vaststellen of dit nu een goede of een slechte peiling was. Ze weten niet dat de gepubliceerde uitkomsten vermoedelijk niet juist zijn. En toch worden ze als harde feiten gepresenteerd.

Om dit soort ongelukken in de toekomst te voorkomen, zou het beter zijn als er in elke nieuwsredactie minimaal één medewerker zit die enig verstand heeft van het wel en wee van peilingen.