Hoe representatief is deze peiling over schelden op de docenten?
‘Leerlingen die schelden, intimideren of zelfs fysiek geweld gebruiken tegen hun leraar: ruim een kwart van de middelbare schooldocenten heeft hier het afgelopen jaar mee te maken gehad. Dat blijkt uit een representatieve enquête van onderzoeksbureau DUO onder meer dan duizend docenten’. Zo begint een artikel op de NOS-website op 28 november 2018. Is er inderdaad sprake van een representatieve peiling?
DUO blijkt een peiling te hebben gedaan onder docenten in het voortgezet onderwijs. Voor een goede peiling moet je een nette aselecte steekproef trekken uit de populatie van alle docenten. Is dit ook inderdaad gebeurd? Gelukkig bevat het bericht op de NOS-website een link naar het onderzoeksverslag. Dit verslag bevat voornamelijk inhoudelijke uitkomsten, en maar weinig over de methodologische opzet en uitvoering van de peiling: anderhalve pagina.
De doelpopulatie bestaat kennelijk uit docenten in het voortgezet onderwijs. Dan is het dus van belang dat je een aselecte steekproef trekt uit al die docenten. DUO is nogal onduidelijk over hoe ze de steekproef hebben getrokken. Wel is duidelijk dat DUO gebruik maakt van twee panels: het Online Panel docenten voortgezet onderwijs en de onderwijsdatabase van DUO. De docenten in deze twee panels zijn benaderd met het verzoek de vragenlijst in te vullen.
De representativiteit van de respons valt of staat dus met de representativiteit van beide panels. Daar valt alleen iets zinnigs over te zeggen als je weet hoe beide panels tot stand zijn gekomen. Wie zitten er wel in en wie niet. DUO geeft daarover geen informatie. Het is dus nog maar de vraag of gerealiseerde steekproef een representatieve steekproef is.
En dan is er nog een tweede probleem: non-respons. Lang niet elke uitgenodigde docent zal willen meedoen aan de peiling. En misschien speelt het onderwerp van de enquête daar wel een rol bij. Het zou wel eens zo kunnen zijn dat docenten met veel problemen geen zin hebben om erover te praten. Of ze praten wel, maar zeggen niet de waarheid. Wellicht is het een gevoelig onderwerp. Er zal dus non-respons optreden en die non-respons kan tot vertekeningen leiden in de uitkomsten.
DUO meldt helemaal niets over de non-respons. Je krijgt het vermoeden dat ze net zolang zijn doorgegaan met het selecteren van respondenten tot ze bij de 1000 kwamen (om precies te zijn 1124). En de mislukte pogingen zijn onder het tapijt geschoven.
Er is wel een simpele weging uitgevoerd om te corrigeren voor mogelijke vertekeningen. Bij die weging zijn slechts twee variabelen gebruikt: denominatie en regio. Het lijkt hoogst onwaarschijnlijk dat deze weging voldoende effectief is. Hij is te beperkt. Voorzichtigheid is dus geboden!
De conclusie moet luiden dat er onvoldoende aanwijzingen zijn dat de peiling representatief is. Je moet uiterst voorzicht zijn met het gebruik van de uitkomsten van deze peiling.
