PeilingPraktijken

Ruim 90 procent van de mensen die de enquête van ‘Burgers Eigen Baas’ hebben ingevuld, is ontevreden over de wijze waarop fusiegemeente Sittard-Geleen wordt bestuurd. Met dit bericht kwam het dagblad De Limburger op 27 februari 2018. Je zou zeggen dat deze uitkomst overduidelijk is. Het zijn bijna Noord-Koreaanse cijfers. Bij nadere beschouwing is er echter toch wel ruimte voor twijfel. Kun je de uitkomsten van deze peiling wel generaliseren naar de hele bevolking? Nou nee.

De peiling is opgezet en uitgevoerd door actiegroep ‘Burgers Eigen Baas’. De actiegroep is voorstander van een grotere zelfstandigheid van de stadsdelen van de fusiegemeente. Daarvoor moet er een vorm van decentraal bestuur komen. De actiegroep is dus niet neutraal, maar heeft belang bij een bepaalde uitkomst van de peiling. Het is dan altijd oppassen geblazen met de uitkomsten.

Hoe zijn de gegevens verzameld? In ieder geval niet via een aselecte steekproef. De vragenlijst is op de website van de actiegroep gezet. Iedereen kon hem invullen. Dus ook mensen die helemaal niet in Sittard-Geleen wonen. Verder kon je hem meer dan één keer invullen. Dat biedt de mogelijkheid om de uitkomsten te manipuleren. Wie zullen de vragenlijst heb ingevuld? Vermoedelijk alleen personen die de website bezochten en spontaan besloten de vragenlijst in te vullen. Dit is vast geen representatieve selectie uit de bevolking.

Opmerkelijk was dat de peiling niet anoniem was. Iedereen moest zijn naam en zijn e-mailadres invullen. Volgens de onderzoekers werd zo fraude tegengegaan. Dit is heel ongebruikelijk. In het algemeen is het belangrijk dat de respondenten anoniem kunnen blijven. Dat leidt tot een hogere en minder selectieve respons.

Het is ook niet zo duidelijk welke fraude precies wordt tegengegaan. Ik heb de vragenlijst diverse keren ingevuld (als inwoner van de randstad). Door steeds weer een nep naam en een nep e-mailadres (a@a.nl) op te geven, kun je blijven doorgaan met invullen.

Er zijn voor deze online peiling ongeveer 700 formulieren binnengekomen. Omdat de onderzoekers wel aanvoelden dat dit geen representatieve peiling was, is nog een aanvullende peiling gedaan. De onderzoekers gingen langs de deuren en slaagden erin zo nog 100 ingevulde formulieren te krijgen. Niet duidelijk is hoe de adressen zijn geselecteerd (was het een aselecte steekproef?) en hoeveel non-respons er was.

Er moet gevreesd worden dat de gecombineerde respons van de online peiling en de huis-aan-huis peiling niet representatief is. Het is gebruikelijk hiervoor te corrigeren door het uitvoeren van een weging. Dit lijkt niet gebeurd te zijn bij deze peiling. Er wordt in ieder geval niets gemeld.

De onderzoekers proberen duidelijk te maken dat de kwaliteit van hun peiling goed is. Ze melden hierover:

“Volgens toegepaste statistische berekening is de waarschijnlijkheid dat de uitslagen correct zijn 95%. De steekproef omvang voldoet dus ruimschoots aan te stellen eisen van betrouwbaarheid.”

Dit is een onzinnige uitspraak die doet vermoeden dat de onderzoekers niet zoveel verstand hebben van de theorie van survey-onderzoek. Wat je wel hoort te doen, is onzekerheidsmarges uitrekenen. Dan kun je zeggen dat de uitkomsten met 95% waarschijnlijkheid binnen de marges liggen. Verder concluderen de onderzoekers dat de uitkomsten voldoen aan de eisen van betrouwbaarheid. Maar wat zijn die eisen dan?

Al met al is argwaan op zijn plaats bij het gebruik van de uitkomsten van deze peiling. Het lijkt erop dat de uitkomsten vertekend zijn in de richting van de voorstellen van de actiegroep. Het zou daarom goed zijn als de media wat kritischer zouden zijn in hun berichtgeving over dit soort peilingen.