Broodje kaas of broodje aap?

Op 3 oktober 2019 bracht RTL Nieuws een bericht over de lunchvoorkeur van de Nederlanders. Uit een peiling was gebleken dat ruim 70% van de respondenten koos voor een ‘simpel en smaakvol’ broodje kaas. Deze opvallende uitkomst roept vragen op. Hoe zat de peiling eigenlijk in elkaar? Dat is uitgezocht door de Nieuws checkers van de Universiteit Leiden. De conclusie was dat de peiling aan alle kanten rammelde.

De Nieuwscheckers zijn de fact-checkers van de Universiteit Leiden. Ze keken uitgebreid naar de peiling van RTL. Meer informatie over hun onderzoek is hier te vinden:
Betaald door Jumbo brengt RTL nep-peiling over lunchvoorkeur Nederlanders.

Hier het bericht over het broodje kaas, zoals dit door RTL Nieuws werd gepubliceerd:
Driekwart Nederlanders luncht het liefst met broodje kaas.

Het eerste gezicht lijk dit een peiling is die is uitgevoerd door RTL Nieuws. Maar dat is niet zo. Uit nadere bestudering van het bericht blijkt de peiling in opdracht van Jumbo is gedaan. De vragen zijn samen met Jumbo opgesteld. Kennelijk is het Jumbo-concern een ‘partner’ van RTL. Van Jumbo kun je geen objectiviteit verwachten. Deze organisatie zou wel eens belang kunnen hebben bij bepaalde uitkomsten. Het zou ook kunnen dat dit niet echt een peiling betreft maar een als peiling vermomde advertentie. Het is dus oppassen geblazen met de conclusies.

Volgens de nieuwcheckers bestond de peiling uit meerkeuzevragen met drie antwoorden, zoals ‘Wat vind je belangrijk aan lunch?’ of ‘Waar eet je?’. Het broodje kaas is dus niet spontaan door de respondenten genoemd als lunchfavoriet, het was een verplichte keuze uit drie opties. De respondenten konden kiezen uit een kroket, een broodje kaas of een salade. Ook kon men kiezen voor de optie ‘Ik eet niet tussen de middag’. Deze opties waren door de onderzoekers ‘gevoelsmatig gekozen’.

Wat is de doelgroep van deze peiling? Daarover is het bericht niet zo duidelijk. Enerzijds zou het kunnen gaan om alle kantoormedewerkers in Nederland. Anderzijds is de steekproef getrokken uit de abonnees van de nieuwsbrief van RTL Nieuws. Laten we het er maar op houden dat het gaat om de kantoormedewerkers die abonnee zijn van de nieuwsbrief. Dit betekent dat de uitkomsten alleen betrekking hebben op deze groep en niet op alle kantoormedewerkers. De titel van het nieuwsbericht (‘Driekwart Nederlanders luncht het liefst met broodje kaas’) dekt de lading dus niet.

Is de steekproef representatief voor de doelgroep? Dat kan alleen als een aselecte steekproef is getrokken uit de doelpopulatie. De steekproef is verkregen via een oproep aan de abonnees van de nieuwsbrief. Daarna was het afwachten wie er spontaan zou meedoen. Dit is geen aselecte steekproef, maar een vorm van zelfselectie. Dit levert geen representatieve steekproef op. De mensen van RTL realiseren zich dat. Een paar dagen na het publiceren van het bericht vervangen ze namelijk de tekst ‘uit onderzoek van RTL-Z blijkt…’ door ‘wij hebben even rondgevraagd’.

Er is ongetwijfeld non-respons opgetreden in deze peiling. Niet elke abonnee van de nieuwsbrief zal hebben meegedaan. Dit kan leiden tot ernstige vertekeningen in de uitkomsten. Je zou daarvoor moeten proberen te corrigeren. Nergens is hier echter informatie te vinden. Het lijkt erop dat niet is gecorrigeerd voor non-respons (bijvoorbeeld door het uitvoeren van een weging).
Uit navraag bleek dat er 120 respondenten waren. Dit is een buitengewone lage respons. Dat betekent dat er sprake is van flinke onzekerheidsmarges. Die worden helaas niet gemeld in het bericht.

Inderdaad kunnen we concluderen dat deze peiling rammelt aan alle kanten. Het lijkt verstandig de uitkomsten ervan te negeren. Het is eerder een broodje aap dan een broodje kaas.

Reacties

  1. Robert Hagendoorn schreef:

    Ha Jelke, ik geniet altijd van je analyses, omdat ze voor ieder toegankelijk zijn. Morgen gaat “ het Molenberaad” , een coalitie.van 4 verenigingen uit Waddinsxveen, Omliggende plaatsen Bentwoud en Hazerswoude-Dorp / Boskoop maar Statenleden, Raadsleden, achterban en de media met een brochure waarin we niet alleen de “onderbouwing” van de uitspraak “op de wegen rond de Gouwe wordt het steeds drukker” maar de prullenmand verwijzen, maar ook dat de oplossing van de Provincie geen verbetering biedt. En met het zelfde model en de gegevens als de Provincie gebruikt aantonen dat onze voorstellen dat wel doen. Ik stuur je nog wel een electronische versie van de brochure. Ben benieuwd of je die onderbouwing een voldoende geeft. HG Robert Hagendoorn

Reacties zijn gesloten.