Vraagtekens bij een peiling van de ANBO
Bijna veertig procent van de gepensioneerden geeft aan niet voldoende te hebben aan hun pensioeninkomen. Dat is gebleken uit een peiling van de ouderenbond ANBO. Dit bericht kwam in diverse media langs op maandag 18 april 2016. Dit lijkt op het eerste gezicht een schokkend bericht. Uiteraard moet je je dan wel afvragen of deze uitkomst klopt? Zat de peiling wel goed in elkaar? Het antwoord luidt nee. Eigenlijk was het een slechte peiling. Daarom kun je grote vraagtekens zetten bij de conclusie.
Om deze peiling maken we weer gebruik van de checklist voor peilingen die ooit ontwikkeld is door het Centraal Bureau voor de Statistiek (CBS), de Vereniging van Onderzoeksjournalisten (VVOJ) en het Nederlandstalig Platform voor Survey-Onderzoek (NPSO).
Eén van de eerste vragen in de checklist is welke organisatie de peiling heeft uitgevoerd. Dat moet bij voorkeur een onderzoeksbureau zijn dat geen belang heeft bij bepaalde uitkomsten van de peiling. De ANBO heeft de peiling echter zelf gedaan. Deze organisatie is een belangenorganisatie voor ouderen. Dus kun je je afvragen of de objectiviteit van deze peiling wel is gegarandeerd. Wij van WC-eend …
Welke doelgroep is in de peiling onderzocht? De berichtgeving in de media suggereert dat het gaat om alle ouderen. Maar dat is niet het geval. Alleen de leden van de ANBO zijn benaderd voor de peiling. Aan 50.000 leden is gevraagd de vragenlijst in te vullen. Vermoedelijk zijn dat de leden die geabonneerd zijn op de nieuwsbrief van de ANBO.
Nu heeft de ANBO veel meer leden. Het is een beetje onduidelijk hoeveel, maar het lijken er meer dan 170.000 te zijn. Het is nog maar de vraag in hoeverre de lezers van de nieuwsbrief representatief zijn voor alle leden van de ANBO. Daarover is niets terug te vinden in de rapportage.
Niet al die 50.000 uitgenodigde leden hebben daadwerkelijk meegedaan aan het onderzoek. Uiteindelijk hebben maar net iets minder dan 9.000 personen de vragenlijst ingevuld. Het percentage respons was daarmee slechts 18%. Dat is een erg lage respons. Het grote probleem van non-respons is dat het tot systematische afwijkingen in de uitkomsten kan leiden. En die afwijkingen zijn groter naarmate de respons lager is. Het zou bijvoorbeeld kunnen dat vooral ANBO-leden met financiële problemen meegedaan hebben aan de peiling. Leden die het financieel goed hebben, zullen niet zo gauw de behoefte voelen om mee te doen. Kortom, die 18% respons is dus een grote bron van zorg.
De representativiteit van deze peiling is dus op diverse manieren aangetast: er zijn alleen maar ANBO-leden onderzocht, en daarvan alleen de 50.000 leden die de nieuwsbrief lezen, en daarvan alleen de 18% die daadwerkelijk heeft meegedaan. Het is dus nog maar de vraag of de uitkomst (40% van de ouderen redt het niet met hun pensioeninkomen) ook geld voor de groep van alle ouderen in Nederland. Een dergelijke generalisatie van peiling naar hele groep lijkt niet verantwoord.
Als je vreest dat een peiling niet representatief is, zou je dat kunnen proberen te repareren door een correctie uit te voeren. Met een weging maak je dan de respons representatief met betrekking tot een aantal variabelen. Helaas heeft de ANBO dit niet gedaan.
De ANBO heeft gekeken naar de leeftijdsverdeling van de respondenten. De conclusie is dat ‘deze leeftijdsverdeling uitstekend is omdat dit onderzoek zich op gepensioneerden richt’. Dit is wel erg vaag. Het zou beter zijn geweest om te wegen naar leeftijd. Dit is niet gebeurd.
In de respons zaten drie keer zoveel mannen als vrouwen. De ANBO meldt dat deze verdeling afwijkt van de verdeling in werkelijkheid. Toch is er niet naar geslacht gewogen. De onderzoekers melden wel dat ‘er geen redenen aan te nemen dat geslacht een significante factor speelt bij dit onderwerp’. Als dit inderdaad zo is, heeft wegen naar geslacht niet zoveel zin. Er is echter niet vastgesteld of geslacht inderdaad geen rol speelt bij het wel of niet invullen van de vragenlijst en de financiële situatie van ouderen.
Samenvattend: Het was een groot, en vast ook wel belangrijk, onderzoek voor de ANBO. Jammer, dat er niet meer aandacht was voor de kwaliteit van dit onderzoek, en vooral voor de representativiteit van de uitkomsten. De volgende keer toch maar een goed onderzoeksbureau inschakelen?
Het valt ook elke keer weer op dat veel media de uitkomsten van dit soort onderzoek klakkeloos overnemen. Er is kennelijk niemand op de redactie die de informatie over het onderzoek eerst nog even kritisch bekijkt. Toch maar een cursusje over peilingen volgen?
