PeilingPraktijken

Op 6 juni 2018 deed de NOS uitgebreid verslag (op radio, tv en website) van een enquête van het tijdschrift Medisch Contact. Uit die peiling zou blijken dat seksuele intimidatie gemeengoed is in de medische wereld. Dit is een belangrijk en actueel onderwerp. Daarom is het van vitaal belang dat de peiling goed is uitgevoerd. Helaas, dit is niet het geval. Het onderzoek rammelt. Ook de NOS constateert dit. Maar toch worden de uitkomsten vervolgens uitgebreid besproken alsof ze een goed beeld geven. Je zou toch denken dat je zo’n slecht uitgevoerd onderzoek moet negeren.

Het onderzoek is uitgevoerd door het tijdschrift Medisch Contact. Dat is een tijdschrift voor artsen en andere werkers in en om de gezondheidszorg. De doelgroep van het onderzoek bestond uit artsen, geneeskundestudenten en coassistenten. Voor het onderzoek benaderde Medisch Contact al haar 30.000 abonnees. Uiteindelijk deden 3098 artsen en 440 geneeskundestudenten en coassistenten mee aan het onderzoek. De vraag is nu of deze aanpak heeft geleid tot een valide peiling (die meet wat hij beoogt te meten).

Meer over de achtergronden en uitkomsten van dit onderzoek is te vinden in het artikel ‘Enquête: seksuele intimidatie wijdverbreid onder artsen en assistenten’ op de website van de NOS. De uitkomsten van het onderzoek zijn te vinden in het artikel ‘#MeToo: artsen gaan niet vrijuit’ op de website van Medisch Contact. De titels van beide artikelen zijn behoorlijk suggestief.

Een eerste probleem met de enquête van Medisch Contact is dat alleen de abonnees van het tijdschrift zijn benaderd voor de peiling. Andere artsen, geneeskundestudenten en coassistenten zijn buiten beschouwing gelaten. Volgens cijfers van het CBS waren er in 2015 ruim 60.000 artsen in Nederland. Dat is twee keer zoveel als het aantal abonnees van Medisch Contact. Er is dus een grote groep niet meegenomen in het onderzoek. We noemen dit onderdekking. Als de niet meegenomen groep afwijkt van de wel meegenomen groep, zou dit tot ernstige vertekeningen in de uitkomsten kunnen leiden.

Een tweede probleem is de non-respons. 30.000 abonnees zijn uitgenodigd om mee te doen aan het onderzoek. Slechts 3.500 abonnees vulden de vragenlijst daadwerkelijk in. Dat is een respons van 12 procent. Die respons is wel erg laag. Het is bekend dat non-respons kan leiden tot verkeerde uitkomsten. En naarmate de respons lager is, zijn de afwijking groter. Met een respons van 12 procent moeten we het ergste vrezen.

Je kunt proberen een peiling te corrigeren voor de negatieve effecten van non-respons. Dat gebeurt meestal door het uitvoeren van een weegtechniek. Niets wijst erop dat dit bij de enquête van Medisch Contact ook is gebeurd. Ook is er geen poging gedaan de non-respons te analyseren. Veel non-respons en geen correctie, dat vraagt om moeilijkheden.

Presentator Rob Trip maakte nog een merkwaardige opmerking op TV tijdens de presentatie van het item in het NOS Journaal van 20.00 uur. Hij had het over ‘een niet-representatieve, maar uitgebreide enquête’. Alsof het gebrek aan representativiteit niet erg meer is als het onderzoek maar groot genoeg is. Hij maakt een essentiële fout. Het is helaas niet zo dat afwijkingen kleiner zijn als de steekproef groter is. Er is geen relatie tussen de grootte van de afwijking en de grootte van de steekproef. De geruststelling van Rob Trip had daarom beter achterwege kunnen blijven.

Het onderwerp van het onderzoek is een gevoelig onderwerp. Je kunt je daarom afvragen of de respondenten de vragen wel naar waarheid hebben beantwoord. Er kunnen allerlei effecten optreden. Misschien zijn het wel vooral de slachtoffers van seksuele intimidatie die meedoen, omdat ze zo hun verhalen kwijt kunnen. Of misschien zijn het juist de slachtoffers die zich schamen en daardoor niet meedoen. Wie zal het zeggen welke effecten zich hebben voorgedaan? De onderzoekers hebben er in ieder geval niet naar gekeken.

En zo ontstaat een merkwaardig beeld bij het kijken naar het NOS journaal. Aan de ene kant zegt de NOS dat het een slecht onderzoek is (want het is niet representatief) en aan de andere kant worden de uitkomsten (cijfers, zoals dat een derde van de respondenten zegt lastig te zijn gevallen) uitgebreid besproken en dus kennelijk voor waar aangenomen. Het is jammer dat de NOS niet wat kritischer is geweest. Het ware beter geweest als de NOS wat minder aandacht de enquête van Medisch Contact had besteed.