PeilingPraktijken

Op 21 maart 2018 zijn er gemeenteraadsverkiezingen. En dus peilen de media alvast wat er leeft onder de kiezers. Op 7 januari 2018 startte ook de NOS met een peiling. De NOS werkte samen met de regionale omroepen. Doel was te weten komen wat de kiesgerechtigden belangrijk vinden, en waar hun gemeente in hun ogen goed en slecht in is. Uiteraard krijgt de NOS zo veel informatie over wat er leeft bij de kiezers. Die informatie is vervolgens bruikbaar in allerlei reportages. Maar daarmee zijn de mogelijkheden van deze gegevens ook uitgeput. Men moet niet de fout maken te denken, dat dit een representatief onderzoek is. Dat is het niet.

De NOS spreekt van een ‘publieksonderzoek’. Het is echter niet duidelijk wat die term precies inhoudt, al roept de term onderzoek al snel de associatie op met wetenschappelijk onderzoek. Dat zou hier ongepast zijn. Het is in ieder geval geen wetenschappelijk verantwoorde peiling, want dit onderzoek voldoet niet aan daaraan te stellen eisen. De problemen liggen onder meer op het terrein van de vragenlijst en van de representativiteit.

Representativiteit

De representativiteit van dit onderzoek is ver te zoeken. Er is niet gewerkt met een aselecte steekproef of loting uit de populatie van alle kiezers of kiesgerechtigden. Er is sprake van zelfselectie. Alleen mensen die de vragenlijst (toevallig) tegenkomen op de website van de NOS of één van de regionale omroepen, die het leuk vinden om een vragenlijst in te vullen, daar de tijd voor hebben en die geïnteresseerd zijn in gemeenteraadsverkiezingen, krijgen feitelijk de mogelijkheid hem in te vullen. Die invullers vormen naar alle waarschijnlijkheid geen dwarsdoorsnede van alle kiesgerechtigden. Met als gevolg: je kunt de uitkomsten van dit onderzoek niet generaliseren.

Er kan, afgezien van dit fundamentele probleem, nog meer misgaan bij online peilingen op basis van zelfselectie. Zo kan iedereen de vragenlijst invullen. Ook mensen die niet tot de populatie (hier: kiesgerechtigden bij de aanstaande raadsverkiezingen) behoren. Verder kun je, als je dat wilt, de vragenlijst meer dan één keer invullen door steeds een andere computer, laptop, tablet of smartphone te gebruiken. En groepjes kiezers kunnen proberen de uitkomst van het onderzoek te manipuleren door een gezamenlijke strategie af te spreken bij het invullen.

Dergelijke problemen doen zich in beginsel niet voor bij een aselecte steekproef.

In de aankondiging geeft de NOS aan de verzamelde verhalen van de deelnemers te willen gebruiken voor reportages. Dat is eerder journalistiek dan onderzoek, en daar is dan ook niet zoveel mis mee. Niettemin is het hierbij oppassen geblazen. Door wat leuke voxpops achter elkaar te zetten, kun je vrij eenvoudig een uiterst suggestief beeld creëren, dat niet met de werkelijkheid overeenstemt maar wel de indruk wekt dat te doen.

In een poging om te corrigeren voor het gebrek aan representativiteit, is het is mogelijk om te wegen. Daarbij tellen ondervertegenwoordigde respondenten zwaarder mee en oververtegenwoordigde respondenten minder zwaar. Het lijkt erop dat de NOS dit niet doet. Bij eerder onderzoek gebeurde dit in ieder geval niet, en er wordt ook nu nergens melding van gemaakt.

De vragenlijst

Een open deur: Een goed vragenlijstonderzoek staat of valt met een goede vragenlijst. Slecht geformuleerde vragen kunnen leiden tot verkeerde antwoorden en tot verkeerde conclusies uit het onderzoek. Het is dus belangrijk om zorgvuldig te zijn bij het opstellen van een vragenlijsten. Op de 21 vragen van het publieksonderzoek valt echter het een en ander aan te merken.

De eerste drie vragen staan in de figuur hieronder. De respondenten moeten aangeven in welke gemeente en provincie ze wonen en wat hun postcode is. Dit lijkt wat teveel van het goede. Uit de postcode kun je immers de gemeente en de provincie afleiden. Waarom dan nog de respondenten lastig vallen met vragen over gemeente en provincie? Je mag deelnemers aan onderzoek eigenlijk niet lastigvallen met overbodige vragen.

Bij vraag 4 (zie hieronder) moeten de respondenten aangeven hoeveel vertrouwen ze hebben in ‘de lokale politiek’. Ze moeten daarvoor een cijfer kiezen op een schaal die loopt van 1 tot en met 10. Kunnen ze daarmee uit de voeten? Zouden ze echt kunnen bepalen of hun vertrouwen 6, 7 of 8 is? Trouwens, wat is dat precies, die ‘lokale politiek’? De burgemeester, het college van B en W, de gemeenteraad, de ambtelijke diensten, een combinatie van dat alles of alles bij elkaar? De schaal is ook erg gedetailleerd. Een schaal met vijf verschillende mogelijkheden is meestal genoeg, om schijnprecisie te voorkomen. Bij vraag 5 doet zich hetzelfde voor. Veel te vaag en weinig specifiek. En hoe kun je de mate van op de hoogte zijn uitdrukken op een schaal die loopt van 1 tot 10?

Bij vraag 6 moeten de respondenten kiezen uit een heel lange lijst van problemen. Dan dreigt altijd het zogeheten primacy-probleem: respondenten kiezen een paar antwoorden vooraan in de lijst en doen geen moeite meer om de lijst verder door te lezen. Misschien staat het beste antwoord wel later/lager in de lijst, maar daar komt men simpelweg niet meer aan toe.
De tekst van de vraag is inconsequent of op zijn minst verwarrend. De respondenten moeten aangeven welk probleem als eerste moet worden aangepakt, maar ze kunnen drie (!) problemen aangeven. Welke van de drie is dan het eerste probleem? Nog los van de vraag of alle problemen ook wel adequaat op lokaal niveau kunnen worden aangepakt of tot de taak van de gemeente behoort.

Vraag 10 is een lastige vraag. Hij is moeilijk te beantwoorden. De respondenten moeten aangeven of ze voor of tegen gemeentelijke herindeling zijn. Maar gaat het dan over hun eigen gemeente of gemeenten in het algemeen? En als het om de eigen gemeente gaat, herindeling met welke buurgemeente of -gemeenten dan? In de gemeente Weesp gaat precies daar in maart een referendum over: samenwerking en later fusie met Amsterdam of met Gooise Meren. Dat is een politiek twistpunt. Misschien is voor de ene gemeente herindeling wel goed en voor de andere niet. Wat weten respondenten daarover? Kunnen ze deze vraag wel beantwoorden? Ook de volgende vraag over de juiste grootte lijkt niet zo eenvoudige te beantwoorden.

Bij vraag 15 moeten de respondenten aangeven op welke partij ze de vorige keer hebben gestemd en bij vraag 16 wat ze nu gaan stemmen. Bij beide vragen zijn de antwoorden niet meteen te zien. Ze zitten verstopt in lijstjes die eerst moeten worden open geklapt. Dat is een handeling teveel. Het was beter geweest om gebruik te maken van keuzerondjes (radio buttons), zoals bij vragen 10 en 11. Trouwens, vraag 11 kent een ander veelvoorkomend probleem bij vragen: twee vragen verstopt in één vraag. Gaat die vraag over het goed besturen (een politiek aspect) of het goed taken uitvoeren (primair verantwoordelijkheid ambtenarij)?

Goed is wel dat de volgorde van de partijen elke keer anders is voor de respondenten. Daarmee wordt een mogelijk primacy-effect (de tendens een antwoord vooraan in de lijst te kiezen) geneutraliseerd.

Niet goed is vervolgens de magere rol voor de lokale partijen in het onderzoek. De landelijke partijen staan allemaal genoemd in de lijst – al doen die landelijke partijen niet in alle gemeenten mee. Er is echter maar één optie ‘lokale partijen’. Dat is wel heel erg mager, aangezien heel veel mensen op lokale partijen stemmen en die lokale partijen er zijn in tal van smaken. Deze vormgeving kan er overigens toe leiden dat er teveel voor landelijke partijen wordt gekozen.

Conclusie

Het is goed dat er onderzoek wordt gedaan naar wat er speelt in de aanloop van en bij de gemeenteraadsverkiezingen, maar zoals onder aanvoering van de NOS gebeurt, is dit niet de goede manier om het te doen. Vanuit wetenschappelijk en ambachtelijk oogpunt is het onderzoek dik onder de maat. De verzamelde gegevens kunnen misschien nog worden gebruikt om enkele voxpops te maken, maar dan is dit wel een zwaar middel. Schieten met een niet goed afgesteld kanon op een mug. Voor uitspraken over wat er in het algemeen speelt bij de stemgerechtigden, is dit onderzoek niet geschikt. Wees gewaarschuwd.

Deze bijdrage is geschreven door Jelke Bethlehem & Joop van Holsteyn.