PeilingPraktijken

Nederlanders vinden het nieuwe biljet van 20 euro het mooiste bankbiljet. Dat blijkt uit een tweejaarlijkse peiling van De Nederlandsche Bank (DNB). Het briefje van 5 euro is het minst populair, slechts 3 procent van de ondervraagden vindt dit het mooiste eurobiljet. Dit bericht verscheen op 1 augustus 2017 in diverse media. Maar die media namen niet de moeite om te controleren of de peiling wel netjes volgens de regels van de kunst was uitgevoerd. Ze namen de uitkomsten klakkeloos over. Dat is niet goed. Laten we daarom nog eens goed naar deze peiling kijken.

Elke peiling hoort een onderzoeksverantwoording te hebben. Daarin moet staan hoe de peiling is opgezet en uitgevoerd. Gelukkig is het onderzoeksrapport op de website van De Nederlandse Bank te vinden. Daarin staan allerlei zaken over het onderzoek dat kennelijk is uitgevoerd door Motivaction.

In het rapport kunnen we lezen dat de doelpopulatie bestaat uit alle Nederlanders van 18 t/m 75 jaar. Dus jongeren onder de 18 en ouderen boven de 75 mochten niet meedoen aan het onderzoek. Als gevolg daarvan hebben de uitkomsten van de peiling niet betrekking op alle Nederlanders, maar alleen op de mensen van 18 t/m 75 jaar. Het is goed dat even te weten. Wie weet hebben ouderen boven de 75 jaar wel een andere voorkeur.

De respondenten moesten vragen beantwoorden over het ontwerp van eurobiljetten, zonder dat ze die biljetten konden zien. Daarom was gekozen voor een telefonische peiling. De respondenten kregen zo niet de kans om tijdens het interview plaatjes van de bankbiljetten op internet op te zoeken. Uiteraard kun je die plaatjes wel opzoeken als je een PC voor je neus hebt staat tijdens het interview.

Voor een telefonische peiling is een aselecte steekproef nodig. Je zou zo’n steekproef kunnen trekken uit het telefoonboek van Nederland. Aangezien veel mensen met een vaste telefoon niet in het telefoonboek staan en mensen met een mobiele telefoon al helemaal niet, is een steekproef uit het telefoonboek niet representatief. Je moet dus iets anders bedenken.

Bij deze peiling is gekozen voor Random Digit Dialing (RDD). Hierbij worden telefoonnummers gebeld die met een computeralgoritme willekeurig zijn gegenereerd. Er kunnen zowel vaste als mobiele nummers worden gegenereerd. In principe levert deze aanpak een aselecte steekproef op. Een groot probleem is echter het optreden van non-respons: er wordt niet opgenomen, men neemt wel op maar weigert aan de peiling mee te doen, of men is niet in staat mee te doen (bijvoorbeeld door taalproblemen).
Non-respons kan leiden tot ernstige vertekeningen in de uitkomsten. De risico’s van ernstige afwijkingen zijn groter naarmate het percentage respons lager is. Helaas meldt de onderzoeksverantwoording niets over de non-respons in de peiling. Dit is een ernstige omissie.

Navraag bij De Nederlandse Bank leverde op dat de respons ongeveer 12% was. Dat is een bijzonder laag percentage. Je moet vrezen voor vertekeningen. Ter vergelijking: Bij de parlementsverkiezingen in het Verenigd Koninkrijk in 2015 zaten de telefonische peilingen er behoorlijk naast. Daar varieerden de responspercentages tussen de 20% (landelijke gebieden) en 10% (stedelijke gebieden). Deze percentages liggen dus in dezelfde orde van grootte.

De gangbare aanpak van non-respons is het uitvoeren van een weging. Daarbij wordt de respons representatief gemaakt door ondervertegenwoordigde groepen een gewicht groter dan 1 te geven, en oververtegenwoordigde groepen krijgen een gewicht kleiner dan 1. Wegen is alleen effectief als de voor de gewichten gebruikte weegvariabelen sterk samenhangen met de onderzochte verschijnselen en met het responsgedrag. In dit onderzoek is gewogen met geslacht, leeftijd, opleidingsniveau en provincie. Dat is een beperkt aantal, vrij algemene, weegvariabelen. Het is nog maar de vraag of je met deze weging vertekeningen kunt wegwerken. Bij de Britse parlementsverkiezingen bleken gelijksoortige wegingen in ieder geval niet te werken. Zie ook het debacle van de Engelse peilingen.

De media meldden in hun berichtgeving dat het briefje van 5 euro het minst populair is. Slechts 3 procent van de ondervraagden vindt dit het mooiste eurobiljet. Klopt deze uitspraak? Nee, deze conclusie kun je niet trekken. Er is immers een steekproef (van 1002 personen) getrokken. Dan hebben de uitkomsten een onzekerheidsmarge. Helaas worden in de onderzoeksverantwoording geen onzekerheidsmarges gemeld. Gelukkig kun je die marges vaak zelf uitrekenen.

Bij een van de vragen moesten de respondenten aangeven welk biljet ze het mooist vinden. De antwoorden staan in de grafiek hieronder. Ook zijn de steekproefmarges getekend in de vorm van ‘harkjes’. Inderdaad vindt 29% het (nieuwe) biljet van 20 euro het mooist. De onzekerheidsmarge van deze categorie overlapt geen enkele andere onzekerheidsmarge. Daarom kunnen we terecht concluderen dat het biljet van 20 euro het mooiste is

Anders ligt het met het biljet van 5 euro. Het verschil met het biljet van bijvoorbeeld 200 euro is zo klein 3% tegen 4%) dat de onzekerheidsmarges overlappen. Daarom kun je niet de conclusie trekken dat het biljet van 5 euro lelijker is dan dat van 200 euro. Het zou net zo goed andersom kunnen zijn.

Kortom, dit onderzoek, en de rapportage, vertoond wel enige tekortkomingen. Dat zou je niet verwachten van een degelijk instituut als De Nederlandse Bank. Misschien toch wat meer zorgvuldigheid?