Zijn de cijfers van het menstruatieonderzoek wel juist?
‘Derde van vrouwen kan niet optimaal functioneren tijdens ongesteldheid’. Dat was de kop van een bericht op de website van de NOS op 15 maart 2019. Er stonden nog meer uitspraken in het bericht. Bijvoorbeeld ‘Naar schatting heeft 1 op de 10 vrouwen die aandoening’ en ‘De helft van de vrouwen met menstruatieklachten praat daar niet over’. Ook op de radio, tijdens het Radio 1 Journaal werd uitgebreid aandacht besteed aan dit probleem. Dat leverde allemaal harde uitspraken op. Je vraagt je dan af waarop deze cijfers zijn gebaseerd. Uit welk onderzoek zijn ze afkomstig? En je vraagt je af hoe hard (valide) die uitspraken zijn.
Uit het bericht blijkt dat het onderzoek is uitgevoerd door een team van gynaecologen van de Radboud Universiteit in Nijmegen onder leiding van Bertho Nieboer. Dat wekt vertrouwen, maar dan lijkt er toch iets mis te zijn met het trekken van de steekproef. Er is niet sprake van een aselecte steekproef, maar van zelfselectie via Facebook en Twitter. Vrouwen op deze sociale media werden opgeroepen mee te doen aan het onderzoek. Dat levert geen aselecte steekproef op. Alleen vrouwen doen dan mee die op Facebook of Twitter zitten, de oproep tegenkomen en spontaan besluiten om de vragenlijst in te vullen. En misschien doen ik vooral vrouwen mee die last hebben van menstruatieproblemen.
De vragenlijst was bedoeld voor vrouwen tussen de 15 en 45 jaar. Het is echter maar de vraag of alle respondenten in die leeftijdsklasse zaten. Niets hield anderen (jonger dan 15, ouder dan 45, mannen, buitenlanders) tegen om ook mee te doen. En wat te zeggen van vrouwen van buitenlandse afkomst. Die zitten vast onvoldoende in het onderzoek.
In een verantwoording op de website van de NOS wordt toegegeven dat er sprake kan zijn van een selectiebias. Dat is een vertekening in de uitkomsten als gevolg van gebrek aan representativiteit. Je zou kunnen proberen het gebrek aan representativiteit te repareren door het uitvoeren van een wegingsprocedure. Uit niets blijkt dat dit is gebeurd.
De onderzoekers claimen dat de steekproef best wel groot is. Er hebben immers zo’n 42.000 vrouwen meegedaan. Ze zeggen dat daardoor de schaal van de problemen zichtbaarder wordt. Deze uitspraak is niet juist. Voor het doen van valide uitspraken is het veel belangrijker om een representatieve steekproef te hebben dan een grote steekproef.
Het is merkwaardig dat een nieuwsorganisatie als de NOS zou uitgebreid over dit onderzoek bericht, terwijl duidelijk is dat het niet representatief is. De steekproeftrekking rammelt. Het geeft daarom geen pas al die cijfers te noemen in de tekst (éen derde’, ‘1 op de 10’, ‘de helft’), want ze zijn waarschijnlijk niet waar.
Het is daarom beter om het bericht af te zwakken, ook op de radio. Het is beter om je te beperken tot hooguit heel globale conclusies (zonder cijfermatige onderbouwing). En het blijft raar dat je in hetzelfde bericht allerlei uitkomsten van onderzoek presenteert en tegelijk zegt dat die uitkomsten vermoedelijk fout zijn. Wat heb je aan zo’n nieuwsbericht?
