Een twijfelachtige peiling van de SP onder agenten

De Nationale Politie is uitgelopen op een fiasco. Dit blijkt uit een onderzoek onder ruim 1600 agenten, uitgevoerd door de SP. De invoering van de Nationale Politie in 2013 heeft volgens de ondervraagde agenten een negatieve invloed op het politiewerk en de veiligheid in Nederland is er zelfs op achteruitgegaan. De SP pleit voor een parlementair onderzoek naar het functioneren van de Nationale Politie. Dit bericht verscheen op 15 september op de website van EénVandaag. Een belangwekkend bericht, maar klopt het ook? Die vraag kunnen we beantwoorden als we weten hoe het onderzoek is opgezet en uitgevoerd. Het is nog niet zo eenvoudig om daar achter te komen.

Het is een belangrijke regel dat onderzoekers altijd verantwoording moeten afleggen over hun onderzoek. Het moet duidelijk zijn hoe de peiling is uitgevoerd, zodat iedereen kan vaststellen of die van voldoende kwaliteit was. Alleen dan kun je de uitkomsten vertrouwen. Helaas bevat het onderzoek van de SP geen enkele verantwoording. Alleen daarom al is uiterste voorzichtigheid geboden bij het gebruik van de uitkomsten van dit onderzoek.

De enige informatie over dit onderzoek is dat er 1627 agenten meegedaan hebben aan de peiling van SP. Er zijn veel meer agenten in Nederland, pakweg zo’n 65.000. Dus slechts een kleine selectie van agenten heeft de vragenlijst van de peiling ingevuld. Dat zou helemaal niet erg zijn als dit een aselecte steekproef was. Dat was echter niet het geval.

Contact met Kamerlid Ronald van Raak van de SP leverde meer informatie op over het onderzoek. Op de website is een online vragenlijst gezet. Vervolgens hebben de politiebonden hun leden erop gewezen dat ze de vragenlijst konden invullen. We noemen dit zelfselectie. De agenten bepaalden zelf spontaan of ze meededen aan de peiling. Bovendien waren de respondenten vooral agenten die lid waren van een vakbond. Niet-leden van de politiebonden hebben de peiling misschien wel nooit gezien. Dit draag er allemaal toe bij dat de steekproef niet representatief is. Inderdaad, de onderzoekers stellen bijvoorbeeld vast dat agenten die langer dan tien jaar in dienst zijn, in de enquête erg zijn oververtegenwoordigd.

Je kunt proberen de uitkomsten van de peiling te corrigeren voor een gebrek aan representativiteit. Wegen heet dat. Uit niets blijkt echter dat zo’n correctie ook inderdaad is uitgevoerd.

Tenslotte nog een opmerking over de uitkomsten van de peiling. De percentages staan vaak met een nauwkeurigheid van twee cijfers achter de komma weergegeven. Zie bijvoorbeeld de grafiek hieronder.

De cijfers zijn gebaseerd op een steekproef van 1627 agenten. Dat betekent dat deze cijfers schattingen zijn en geen exacte cijfers. Zelfs als de steekproef helemaal netjes aselect is getrokken, dan nog zijn er onzekerheidsmarges. De SP geeft geen onzekerheidsmarges. Gelukkig kun je ze vaak zelf uitrekenen. Zo is, volgens de peiling van de SP, 84,7% van de agenten van mening dat de kwaliteit van dienstverlening minder is geworden. Bij een steekproef van 1627 agenten is de marge gelijk aan 1,7. Dus de correcte conclusie is dat het percentage agenten dat vindt dat de kwaliteit van de dienstverlening is afgenomen, met grote waarschijnlijkheid ligt tussen de 83% en 86%. Meer kun je er niet van zeggen.

We kunnen concluderen dat je voorzichtig moet zijn met de uitkomsten van deze peiling van de SP. De steekproef is niet netjes getrokken uit de populatie van alle agenten. Daarom is er zeer waarschijnlijk geen sprake van een representatieve peiling. Het is ook jammer dat een echte onderzoeksverantwoording ontbreekt. Daarom is het lastig om een goed beeld te krijgen van de kwaliteit van deze peiling.