Een flutpeiling van de gemeente Alphen a/d Rijn
De gemeente Alphen aan den Rijn wil graag weten wat de inwoners van haar informatiebronnen vinden. Daarom laat de gemeente een onderzoek uitvoeren naar de bekendheid en het gebruik van de gemeentelijke informatievoorziening. Met de resultaten van het onderzoek wil de gemeente de informatievoorziening verbeteren en de website www.alphenaandenrijn.nl vernieuwen. Aldus de aankondiging van een peiling onder de inwoners. Helaas rammelt deze peiling aan alle kanten, de peiling is niet representatief en de vragenlijst laat te wensen over.
De steekproef
De steekproef voor de peiling bestaat uit twee componenten. Een deel ervan is benaderd via e-mailadressen die afkomstig zijn uit het AlphenPanel. Dat was het burgerpanel van de gemeente Alphen a/d Rijn. Het AlphenPanel heeft enkele jaren gefunctioneerd, maar het lijkt nu verdwenen te zijn. Het is nergens meer te vinden op het internet. Het AlphenPanel bestond voor een flink deel uit personen die via een aselecte steekproef uit het bevolkingsregister zijn getrokken. Daardoor was het panel redelijk representatief, en dus ook de eerste component van de steekproef.
De tweede component van de steekproef bestaat uit personen die spontaan de online vragenlijst hebben ingevuld. Dit kan via de website van de gemeente. Dit is geen aselecte steekproef maar een vorm van zelfselectie. De onderzoekers hebben geen controle over de samenstelling van de steekproef. Het is afwachten wie de vragenlijst invult.
Zelfselectie leidt tot een niet-representatieve steekproef. Er kan van alles misgaan. Een eerste probleem is dat ook mensen van buiten de gemeente de vragenlijst kunnen invullen. Dit leidt tot ‘vervuiling’ van de steekproef. Een tweede probleem is dat je de vragenlijst meer dan één keer kunt invullen. Als test heb ik de vragenlijst 10 keer ingevuld. Zo kun je proberen de uitkomst van het onderzoek te beïnvloeden door de vragenlijst een heleboel keer in te vullen. Een derde probleem is dat een groep mensen de uitkomsten bewust kan manipuleren door een strategie af te spreken voor het invullen van de vragenlijst.
Het zal duidelijk zijn dat de steekproef van de gemeente Alphen a/d Rijn niet representatief is. De situatie lijk erg op die van de peiling over het al of niet toestaan van koopzondagen. Die peiling werd in januari 2015 in Alphen a/d Rijn gehouden. Ook toen bleek dat de uitkomsten van een peiling op basis van zelfselectie er helemaal naast zaten. Zie ook het artikel ‘Over goed en slecht peilen: de casus van de koopzondag‘.
Vragenlijst
Ook de vragenlijst van de Alphense peiling had een aantal tekortkomingen. Een eerste probleem is de volgorde van de vragen. De eerste drie vragen gaan over geslacht, leeftijd en burgerlijke staat. Dit zijn oninteressante vragen die de respondenten niet echt motiveren om verder te gaan. Dit kan een reden voor de respondenten zijn om al prematuur te stoppen met de vragenlijst. Om dit te voorkomen, raden deskundigen aan dit soort vragen achteraan te zetten.
De figuur hieronder toont de eerste ‘echte’ vraag. De respondenten moeten aangeven welke informatiebronnen ze kennen. In de lijst ontbreken minstens drie belangrijke bronnen. Dat zijn de lokale omroep Studio Alphen en de regionale dagbladen Leidsch Dagblad en AD/Alphen. Doordat ze niet in de lijst staan, zullen ze te laag scoren. En zo ontstaat een verkeerd beeld.
De vragenlijst bestaat verder uit 26 vragen zoals in de figuur hieronder. Ook hier ontbreken weer de al eerder genoemde bronnen Studio Alphen, Leidsch Dagblad en AD/Alphen. Zo gek is het toch niet om voor lokaal nieuws naar de lokale omroep te kijken of te luisteren? Je zou die ontbrekende bronnen natuurlijk steeds kunnen intypen bij ‘Anders n.l.’, maar dat is wel heel veel extra werk. Dat gaan de respondenten niet doen.
Het zou natuurlijk zo kunnen zijn dat je het antwoord echt niet weet. Weet u bijvoorbeeld hoe je er achter komt of er betaalbare hotels in Alphen a/d Rijn zijn? En trouwens, wat zijn betaalbare hotels? Hoe geef je aan dat je het antwoord op de vraag niet weet. Er is geen optie ‘Weet niet’. En als je de vraag probeert over te slaan, krijg je de bestraffende melding dat je geen antwoord hebt gegeven, en moet je weer terug naar de vraag.
Deze peiling van de gemeente Alphen a/d Rijn vertoont dus een flink aantal gebreken. Daardoor kun je de uitkomsten niet vertrouwen. Er kunnen substantiële vertekeningen in de cijfers zitten. Daarom is het maar beter deze peiling niet serieus te nemen.
