Online-peilingen

Een online-peiling (of internet-peiling, of web-peiling) is een peiling waarbij mensen de vragenlijst via het internet invullen. Online-peilingen hebben de laatste jaren een grote vlucht genomen. Dat komt omdat dit type onderzoek zo op het eerste gezicht wel een aantal voordelen heeft:

  • Het is eenvoudige om toegang te krijgen tot een grote groep potentiële respondenten. Zo deden 150.000 mensen in 2006 mee aan het onderzoek 21minuten.nl (“Nederland heeft antwoorden nodig, antwoorden die alleen u kunt geven”). Een soortgelijk onderzoek in 2014 (“Namens Nederland”) had meer dan 100.000 respondenten. Het Radar Testpanel van AVROTROS is een online-panel. Daarin zitten 95.000 mensen. Het EenVandaag Opiniepanelen is een soortgelijk onlin-panel van AVROTROD. Daaraan doen 50.000 mensen mee.
  • Het opzetten en uitvoeren van een online-peiling is goedkoop. Het is niet meer nodig om papieren vragenlijsten te drukken en te verzenden. Ook hoeven er geen interviewers te worden ingezet om bij mensen thuis langs te gaan of ze vanuit een call-center te bellen.
  • Vooral een peiling uit een online-panel kun je snel opzetten en uitvoeren. Het komt voor dat een dergelijke peiling binnen een dag wordt afgehandeld. In de ochtend maak je een vragenlijst en zet hem op het internet. Gedurende de middag verzamel je de gegevens en ’s avonds maak je de uitslag bekend.
  • Een vragenlijst op het internet biedt veel mogelijkheden die traditionele papieren vragenlijsten niet hebben. Zo kun je een vragenlijst informatiever en aantrekkelijker maken door het opnemen van zaken als beeld (foto, video), geluid en animaties.

Tegenover deze voordelen staan ook nadelen. Die tasten de validiteit van de uitkomsten aan. De peiling meet dan niet wat hij beoogt te meten:

  • Onderdekking. We spreken van onderdekking als mensen uit de doelpopulatie niet in de steekproef geselecteerd kunnen worden. Dit kan zich voordoen bij online-peilingen. Immers, mensen zonder internet kunnen niet deelnemen aan een online-peiling. Het gaat vooral om ouderen, mensen met een lage opleiding en allochtonen. De mensen die we wel kunnen bereiken via het internet, zullen daarom geen goede afspiegeling zijn van de bevolking. Onderdekking tast dus de representativiteit van de peiling aan. Onderdekking is niet zo’n groot probleem in Nederland, aangezien bijna iedereen internet heeft. In veel andere landen zijn de problemen groter door de veel kleinere internet-dekking.
  • Zelfselectie. We spreken van zelfselectie als je de vragenlijst van je peiling op het internet zet, en verder maar afwacht wie hem invult. Dat zijn mensen die internet hebben, toevallig de website bezoeken en spontaan besluiten om mee te doen aan de peiling. Je loot de steekproef dus niet. Je krijgt alleen mensen in je peiling die het leuk vinden om eraan mee te doen. Ook zelfselectie tast de representativiteit van de peiling aan.
  • Meetfouten. Bij een online-onderzoek zijn er geen interviewers die de respondenten kunnen helpen bij het invullen van de vragenlijst. De respondent moet het helemaal in zijn eentje doen. En die is niet altijd zo gemotiveerd om de vragenlijst correct in te vullen. Dit kan leiden tot veel slordige of foute antwoorden.

Zelfselectie

Online-peilingen zijn populair in Nederland. Dat komt waarschijnlijk omdat bijna iedereen tegenwoordig toegang heeft tot het internet. Bij veel van die peilingen is de steekproef via zelfselectie tot stand gekomen. De vragenlijst wordt op het internet gezet en iedereen kan hem invullen. Via reclame in diverse media wordt iedereen opgeroepen mee te doen aan de peiling. Uiteindelijk zullen de respondenten voornamelijk mensen zijn die het leuk vinden om mee te doen aan een peiling of het onderwerp interessant vinden. Dit zal meestal geen representatieve peiling opleveren.

Zelfselectie geeft iedereen de mogelijkheid om de vragenlijst in te vullen. Dat kunnen dus ook mensen zijn die helemaal niet tot de te onderzoeken doelpopulatie horen. Daarmee kun dus een ‘vervuiling’ van je peiling krijgen.

Bij zelfselectie is het soms ook mogelijk om een vragenlijst meer dan één keer in te vullen. Je kunt dan proberen de uitkomst van de peiling te manipuleren door de vragenlijst een heleboel keren in te vullen. We geven drie voorbeelden van de gevaren van zelfselectie.

Voorbeeld 1: De NS Publieksprijs 2005

De NS Publieksprijs is een literaire prijs die elk jaar wordt toegekend. De winnaar wordt via een online-peiling bepaald. Voor de prijs van 2005 kon je stemmen op één van de zes genomineerde boeken, maar je kon ook zelf een boek opgeven. Iedereen kon meedoen. Een geval van zelfselectie dus. In totaal brachten 92.000 mensen hun stem uit.

Tot verbazing van iedereen werd niet een van de genomineerde boeken tot winnaar gekozen. 72% van de stemmers koos voor de Nieuwe Bijbelvertaling. Deze uitslag was het resultaat van een campagne gevoerd door onder anderen het dagblad Trouw, de Evangelische Omroep, het Nederlands Bijbel¬genootschap, de Katholieke Bijbel¬stichting en de Protestantse Kerk om te stemmen op de nieuwe Bijbelvertaling.

De gang van zaken was niet tegen de regels. Het zal echter duidelijk zijn dat de stemmers niet een goede afspiegeling waren van de Nederlandse bevolking

Voorbeeld 2: De Tweede Kamerverkiezingen van 2012

Bij een peiling voor de Tweede Kamerverkiezingen van 12 september 2012 deed zich een poging tot manipulatie voor. Dit meldt het NRC op 13 september 2012. Een groep van 2500 ‘infiltranten’ probeerde zich aan te melden bij het panel van peiler Maurice de Hond. Het idee van deze groep was om zicht te presenteren als CDA-stemmer en dan langzamerhand over te gaan naar de partij 50PLUS. De actie werd ontdekt omdat er ineens wel heel veel aanmeldingen voor het panel tegelijk binnen kwamen. Het laat echter wel zien dat met een wat subtielere aanpak peilingen op basis van zelfselectie te manipuleren zijn.

Voorbeeld 3: De gemeenteraadsverkiezingen van 2014

Tijdens de campagne voor de gemeenteraadsverkiezingen van 2014 werd in Amsterdam op 12 januari 2014 het Eerste Grote Lijsttrekkersdebat georganiseerd. Het Parool wilde weten hoe de lijsttrekkers het hadden gedaan en organiseerde een online-peiling. Iedereen kon zijn stem uitbrengen, dus bijvoorbeeld ook mensen van buiten Amsterdam en mensen die het debat helemaal niet hadden gezien.

De campagneteams van twee partijen merkten dat je na het uitzetten van cookies op je computer onbeperkt kon stemmen. De hele nacht bleven ze stemmen uitbrengen op hun lijsttrekker. En dus kregen de lijsttrekkers van deze partijen veel meer stemmen dan de lijsttrekkers van de andere partijen.

peiling-gemanipuleerdToen Het Parool merkte dat de peiling een heel erg afwijkende uitslag zou gaan opleveren, werd de peiling uit de lucht gehaald. De krant beschuldigde de partijen van manipulatie van de peiling. Maar het was natuurlijk wel de krant zelf die een slechte peiling had opgezet.

Voorbeeld 4: De vuurwerkpeiling van Vroege Vogels

In het programma Vroege Vogels van de VARA werd tegen het einde van 2014 uitgebreid aandacht besteed aan vuurwerkoverlast. Het programma leek er vanuit te gaan dat natuurliefhebbers wel tegen vuurwerk zouden zijn. Op de website van Vroege Vogels werd een zelfselectie-peiling geplaats waarin de bezoekers zich konden uitspreken over een verbod op particulier vuurwerk. \

Aanvankelijk verliep de peiling naar verwachting. Zo’n 90% van deelnemers wilde een verbod op vuurwerkverbod. Maar toen kwam er een kentering. Ineens waren er duizenden tegenstanders van een vuurwerkverbod. Op zondagmorgen 28 december 2014 hadden bijna 5.000 mensen hun stem uitgebracht. Nog maar 46% was voor een vuurwerkverbod en een meerderheid van 53% was tegen.

Dat was een behoorlijke omwenteling. Hoe kon dat? Enig onderzoek leerde dat ook de voorstanders van vuurwerk de website hadden ontdekt. Een voorbeeld daarvan was de website Freakpyromaniacs.com. In het forum op deze website werden de vuurwerkliefhebbers opgeroepen naar de website van Vroege Vogels te gaan en te stemmen tegen een vuurwerkverbod. En dat deden ze dus.

Demonstratie: De selectiviteit van een online-peiling

Opiniepeilingen worden vaak uitgevoerd via het internet. De reden ligt voor de hand: een online-peiling is goedkoop en snel. Je kunt het dus vaak doen. Maar dat is niet zonder haken en ogen. De demonstratie hieronder laat zien dat zo’n peiling tot verkeerde uitkomsten kan leiden.

De lokale verkiezingen staan voor de deur in de gemeente Samplona. Vooral de Nationale Ouderen Partij (NOP) lijkt veel aanhang te hebben. In een opinieonderzoek schatten we hoeveel procent van de kiezers gaat stemmen op die partij. Om een idee te krijgen van hoe goed of slecht de schattingen kunnen zijn, herhalen we het trekken van de steekproef een groot aantal malen. Voor elke steekproef opnieuw berekenen we het percentage stemmers op de NOP. Zo krijgen we een hele reeks schattingen. Daarmee bouwen we een histogram op.

Om een reeks simulaties uit te voeren, moet je eerst de omvang van de steekproef instellen. Dat kan door te klikken op het groene vierkantje onder Steekproef. Na elke keer klikken verschijnt een andere waarde. Je kunt kiezen uit een steekproefomvang van 200, 400 of 800.

Je kunt ook kiezen of je de steekproef uit de hele doelpopulatie wilt loten of alleen uit de mensen die internet hebben. Dat doe je door te klikken op het groene vierkantje onder Peiling. Je kunt kiezen of je de steekproef uit de hele doelpopulatie wilt trekken (populatie) of alleen uit de mensen met internet (internet). Je start de simulatie door te klikken op het groene vierkantje naast Start.

Als je steekproeven uit de hele doelpopulatie trekt, dan zullen de schattingen netjes geconcentreerd liggen om het werkelijke percentage stemmers in de hele populatie (25,4%). Trek je de steekproeven uit alleen de groep mensen met Internet, dan vallen de schattingen systematisch te laag uit. Het gemiddelde van alle steekproeven is 20,2% in plaatsvan 25,4%. Er is dus een vertekening van 5,2 procentpunten.

Waarom zijn de schattingen te laag? Dat komt omdat ouderen ondervertegenwoordigd zijn in de steekproeven. Het zijn immers de ouderen waarbij het internet-bezit lager is. En het zijn nu net ook de ouderen die op de NOP stemmen. Kortom, er zitten steeds te weinig NOP-stemmers in de steekproef.

De bioloog en de vissen

We illustreren de problemen van online-peilingen nog eens aan de hand van het volgende verhaal. Stel je bent bioloog en je moet vaststellen hoe het staat met de gezondheid van de vissen in twee meren. Daarvoor wil je een steekproef van vissen onderzoeken. Het probleem bij het linker meer is dat je er niet bij kunt. Je kunt daar dus geen enkele vis onderzoeken. En bij het rechter meer mag je alleen vissen onderzoeken die spontaan boven water uitspringen.

steekproef2

De grote vraag is nu: wat kun je zeggen over de gezondheid van alle vissen in de twee meren als je alleen vissen hebt onderzocht die spontaan uit het rechter meer springen? Hoe staat het met de vissen die stilletjes op de bodem liggen? En zijn je conclusies over het rechter meer zonder meer van toepassing op de vis in het linker meer? Voel je al nattigheid?