De respons is 16%. Dus de steekproef is representatief?

Miljonairs geven gemiddeld 11.000 per jaar uit aan goede doelen. Dat blijkt uit een onderzoek van ABN AMRO MeesPierson. Je kunt je echter afvragen of hier wel sprake is van een representatief onderzoek.

abn-amro

Het onderzoek werd in opdracht van de bank uitgevoerd door de Maastricht University. Aan een aselecte steekproef van 4672 vermogende klanten werd gevraagd mee te werken. Uiteindelijk deden 741 klanten dat. Dat is een respons van 16%. Dat is een bijzonder lage respons. Het onderzoeksteam concludeert echter dat het onderzoek daarmee representatief is. Dat is een bijzonder merkwaardige conclusie.

Een eerste vraag die opkomt is wat wordt bedoeld met “representatief”? Je zou verwachten dat het gaat om representativiteit met betrekking tot alle miljonairs in Nederland. Maar de respons van het onderzoek is niet representatief met betrekking tot deze populatie. Zo blijkt dat het gemiddelde vermogen van de miljonairs in Nederland volgen het CBS gelijk is aan 3 miljoen. Het gemiddelde vermogen in de respons van het onderzoek van ABN AMRO MeesPierson is echter veel hoger: 4,7 miljoen.

Je kunt de uitkomsten van het onderzoek van ABN AMRO MeesPierson ook vergelijken met de uitkomsten van een ander, veel breder onderzoek: Geven in Nederland (GIN). In dit GIN-onderzoek was de gemiddelde gift bijna 2.800 euro, terwijl het bij het onderzoek van de bank ruim 11.000 euro was.

Beide onderzoeken lijken wel op elkaar met betrekking tot de opbouw naar leeftijd en geslacht. Maar dat garandeert geen representativiteit met betrekking tot andere, veel belangrijker variabelen.

Non-respons in een onderzoek leidt vrijwel altijd tot een selectieve respons, en dus tot een aantasting van de representativiteit. En dat wordt alleen maar erger naarmate de non-respons groter is. En respons van 16% is bijzonder lag. Er is dus alle reden om de uitkomsten te wantrouwen.

Je zou verwachten dat de onderzoekers van ABN AMRO MeesPierson pogingen hebben gedaan het risico van onjuiste uitkomsten te verminderen door het uitvoeren van een wegingsprocedure. Daarvan is echter niets terug te vinden in het onderzoeksrapport. En dat terwijl er toch allerlei mooie weegvariabelen beschikbaar waren, zoals het vermogen van de miljonair en de gemiddelde gift.

Blijft over dat de onderzoekers misschien helemaal geen respons wilden die representatief was met betrekking tot de populatie van alle miljonairs. Een alternatief zou kunnen zijn dat de respons representatief moest zijn met betrekking tot alle vermogende relaties van de bank. Met een respons van 16% en het achterwege laten van een weegprocedure moet je je ook hier ernstig afvragen of dit het geval is.