PeilingPraktijken

De gemeente Leiden vraagt zich af hoe de stad er over 20 jaar uit zal zien. Het jaar 2040 lijkt ver weg, maar toch is de gemeente nu al bezig met zich voorbereiden op de toekomst. De bevolking is uitgenodigd mee te praten en mee te denken. Onderdeel van dit project is een online peiling. Helaas is deze peiling wel heel erg slecht opgezet. Daarom kun je niet verwachten dat hij zinnige uitkomsten oplevert.

Bij het opzetten van een peiling (enquête) zijn twee zaken van groot belangd: de vragenlijst en de manier waarop je de steekproef trek. Bij de Stadsenquête zijn er problemen met zowel de vragenlijst als de steekproef.

De vragenlijst

De vragenlijst moet op een objectieve en gestandaardiseerde manier de mening van de respondenten meten. Het is vooral van belang dat de respondenten hun eigen mening geven en niet een bepaalde kant op worden gestuurd. Helaas is dat wel het geval bij de Stadsenquête. We geven enkele voorbeelden.

De eerste vraag hieronder vraagt naar het scenario voor de bouw van woningen. De vraag begint met de claim dat Leiden meer woningen nodig heeft. Daarmee wordt de respondent al een bepaalde kant op gestuurd: er moeten woningen komen. Als antwoord kun je kiezen uit drie opties die allemaal zeggen dat er gebouwd moet worden. Dus als je wilt aangeven dat er juist niet gebouwd moet worden, dan kun je dit antwoord niet kwijt. Slechte vraag dus.

De tweede vraag gaat over het gebruik van auto’s in de binnenstad. Ook deze vraag begint met een uitspraak waarvan je je af kunt vragen of hij juist is: Veel Leidenaren willen graag met de auto blijven reizen. Dat lijkt een sturend begin van de vraag. Voor je mening over het autogebruik kun je kiezen uit autoluw maken, autovrij maken of laten zoals het nu is. En als je nu de autorijden in de stad wilt uitbreiden, wat moet je dan antwoorden?

Het patroon bij de derde vraag is hetzelfde. De tekst van de vraag begint met een sturende opmerking: Veel Leidenaren willen meer groenplekken. En vervolgens kun je kiezen uit allerlei opties voor meer groen. En wat nu als je de hoeveel groen zo wil houden zoals het nu is? Of misschien wil je minder groen en meer asfalt. Dat antwoord kun je niet geven.

De steekproef

De steekproef voor een peiling hoort een aselecte steekproef te zijn. Alle personen in de doelgroep moeten dezelfde kans hebben om in de steekproef te komen. Alleen dan kun je de uitkomsten generaliseren naar de doelpopulatie. Alleen dan zijn de uitkomsten valide. En alleen dan kun je onzekerheidsmarges berekenen. Bij de Stadsenquête is dit allemaal niet het geval. Er is hier sprake van zelfselectie. De vragenlijst wordt op het internet gezet en dan is het afwachten wie de vragenlijst invult. Je hebt daar geen enkele controle over. Er kan van alles misgaan:

• Ook mensen van buiten de doelgroep kunnen de vragenlijst invullen. Ik heb dat zelf als inwoners van Alphen a/d Rijn gedaan. Dat was geen enkel probleem.
• Je kunt de vragenlijst meer keren invullen. Eigenlijk zo vaak als je wilt. Ikzelf heb de enquête vijf keer zonder probleem kunnen invullen. En ik had door kunnen gaan.
• Het is mogelijk dat groepjes inwoners de uitkomsten proberen te manipuleren. Ze spreken af om allemaal dezelfde antwoorden op de vragen te geven. En dat ook nog meer keren.

Kortom, een peiling met zelfselectie is een onbetrouwbaar instrument om een goed beeld te krijgen van de mening van een groep mensen. De peiling is totaal niet representatief.
De gemeente Leiden heeft aangegeven de peiling te willen repareren. Dat is mooi. Maar dat betekent wel dat je de al verzamelde gegevens niet meer kunt gebruiken. Je moet helemaal opnieuw beginnen.