Hoe kan een peiling van onderwijsinstellingen zo slecht zijn?

Er zijn goede en slechte peilingen. Een goed opgezette en uitgevoerde peiling kan veel interessante informatie opleveren. Een slechte peiling kan je op het verkeerde been zetten. Voor een goede peiling moet je de steekproef loten uit de doelgroep. We noemen dat een aselecte steekproef. Dan krijg je een representatieve peiling waarvan je de uitkomsten kunt generaliseren naar de hele doelgroep. Helaas zijn veel peilingen gebaseerd op zelfselectie van respondenten. Dat leidt tot steekproeven die niet representatief zijn. De peiling van de Kring van Hoofdredacteuren Hoger Onderwijs is een schoolvoorbeeld van zo’n slechte peiling.

Hoe denken studenten en medewerkers van hogescholen en universiteiten over diversiteit en inclusie? Dat was de vraag van 19 Nederlandse universiteits- en hogeschoolbladen. Samen maakten ze een peiling en verspreidden die in oktober 2022 via de bladen van de 19 instellingen. Ze hoopten zo een beeld te krijgen van het hele hoger onderwijs in Nederland. En ze hoopten zo de resultaten per instelling te kunnen vergelijken.

Voor een goede peiling zou je een aselecte steekproef uit alle studenten van universiteiten en hogescholen moeten trekken. Helaas deden de onderzoekers dat niet. In plaats daarvan kozen ze voor zelfselectie van respondenten. Ze zetten een link naar een digitale vragenlijst op de websites van hun bladen. En iedereen kon zo de vragenlijst invullen. Dus ook personen die niet behoren tot de populatie van studenten. En ook studenten van onderwijsinstellingen in het buitenland. Soms kun je de vragenlijst zelfs meer dan één keer invullen. Dit leidt allemaal tot een steekproef die meestal verre van representatief is. Maar misschien nog belangrijker is het dat groepjes personen de uitkomsten van de peiling kunnen manipuleren. Zo kunnen ze de peiling naar hun hand zetten met gericht gekozen antwoorden op de vragen.

De website GeenStijl ontdekte dat de peiling van de universiteits- en hogeschoolbladen voor iedereen vrij toegankelijk was. De website riep iedereen op de vragenlijst op geheel eigen wijze in te vullen. Daarmee werd de representativiteit van de peiling nog verder aangetast. Na een paar dagen kregen de onderzoekers door dat de peiling ‘gekaapt’ was door GeenStijl. Daarom stopten ze de peiling. Volgens hen omdat GeenStijl had opgeroepen om de vragenlijst op een bepaalde manier in te sturen.

Kennelijk krijgt GeenStijl de schuld van het mislukken van deze peiling. Dat is niet terecht. Het probleem is hier dat de universiteits- en hogeschoolbladen gewoon een slecht peiling hebben opgezet. Je kunt al van te voren weten dat deze peiling geen representatieve uitkomsten zal opleveren, en dus waardeloos is.

Helaas komt het vaker voor dat voor een peiling gebruik wordt gemaakt van zelfselectie in plaats van een aselecte steekproef. En dan krijg je dus problemen. Hier is nog een voorbeeld van zo’n zelfselectie-peiling. Die werd opgezet door het programma Vroege Vogels van de VARA. Tegen het einde van 2014 werd in dit programma uitgebreid aandacht besteed aan vuurwerkoverlast. Het programma leek er vanuit te gaan dat natuurliefhebbers wel tegen vuurwerk zouden zijn. Op de website van Vroege Vogels werd een zelfselectie-peiling geplaats waarin de bezoekers zich konden uitspreken over een verbod op particulier vuurwerk. Aanvankelijk verliep de peiling naar verwachting. Zo’n 90% van de deelnemers wilde een verbod op vuurwerk.

Maar toen kwam er een kentering. Ineens waren er duizenden tegenstanders van een vuurwerkverbod. Op zondagmorgen 28 december 2014 hadden bijna 5.000 mensen hun stem uitgebracht. Nog maar 46% was voor een vuurwerkverbod en een meerderheid van 53% was tegen. Dat was een behoorlijke omwenteling. Hoe kon dat? Enig onderzoek leerde dat ook de voorstanders van vuurwerk de website hadden ontdekt. Een voorbeeld daarvan was de website Freakpyromaniacs.com. In het forum op deze website werden vuurwerkliefhebbers opgeroepen naar de website van Vroege Vogels te gaan en te stemmen tegen een vuurwerkverbod. En dat deden ze dus in grote getale.

Je kunt je afvragen wat nu precies de doelgroep was van de peiling van Vroege Vogels. Waren het alleen de kijkers/luisteraars naar Vroege Vogels? Of waren het alle Nederlanders? In ieder geval kon iedereen meedoen aan de peiling. Hoe dan ook, het lijkt erop dat vuurwerkliefhebbers behoorlijk oververtegenwoordigd waren. Dit ia dus een duidelijk voorbeeld van een manipuleerde peiling.

Terugkerend naar de peiling van de universiteits- en hogeschoolbladen, moeten we vaststellen dat het terecht was dat de peiling werd gestopt. En hij moet ook niet opnieuw worden gestart op deze manier. Het is best wel treurig dat onderwijsinstellingen zulk slecht onderzoek doen. Je zou verwachten dat ze studenten juist leren om goed onderzoek te doen.