Online-peilingen

Een online-peiling (of internet-peiling) is een peiling waarbij mensen de vragenlijst via het internet invullen. Online-peilingen hebben de laatste jaren een grote vlucht genomen. Dat komt omdat dit type onderzoek zo op het eerste gezicht wel een aantal aantrekkelijke voordelen heeft:

  • Het is eenvoudige om toegang te krijgen tot een grote groep potentiële respondenten. Zo deden 150.000 mensen in 2006 mee aan het onderzoek 21minuten.nl (“Nederland heeft antwoorden nodig, antwoorden die alleen u kunt geven”). In het Radar Testpanel van de TROS zitten 100.000 mensen en 50.000 mensen doen mee aan het EenVandaag OpiniePanel.
  • Het opzetten en uitvoeren van een online-peiling is goedkoop. Het is niet meer nodig om papieren vragenlijsten te drukken en te verzenden. Ook hoeven er geen interviewers te worden ingezet om bij mensen thuis langs te gaan of ze vanuit een call-center te bellen.
  • Een online-peiling kan snel worden opgezet en uitgevoerd. Het komt voor dat een onderzoek helemaal binnen een dag wordt afgehandeld. In de ochtend wordt een vragenlijst gemaakt en op het internet gezet. Je kunt, bij wijze van spreken, ’s morgens een peiling maken, ’s middags de gegevens verzamelen en ’s avonds de uitslag bekend maken.
  • Een vragenlijst op het internet biedt veel mogelijkheden die traditionele papieren vragenlijsten niet hebben. Zo kun je de vragenlijst informatiever en aantrekkelijker maken door het opnemen van zaken als beeld (foto, video), geluid en animaties.

Tegenover deze voordelen staan ook nadelen. Die tasten de validiteit van de uitkomsten aan. De peiling meet dan niet wat hij beoogt te meten:

  • Onderdekking. We spreken van onderdekking als mensen uit de populatie niet in het de steekproef geselecteerd kunnen worden. Dit doet zich voor bij online-peilingen. Immers, mensen zonder internet kunnen niet deelnemen aan een online-peiling. Het gaat vooral om ouderen, mensen met een lage opleiding en allochtonen. De mensen die we wel kunnen bereiken via het internet, zullen daarom geen goede afspiegeling zijn van de bevolking. Onderdekking tast dus de representativiteit van de peiling aan.
  • Zelfselectie. We spreken van zelfselectie als je de vragenlijst van je peiling op het internet zet, en verder maar afwacht wie hem invult. Dat zijn alleen mensen die internet hebben, toevallig de website bezoeken en besluiten om mee te doen aan de peiling. Je loot de steekproef dus niet. Je krijgt alleen mensen in je peiling die het leuk vinden om eraan mee te doen. Ook zelfselectie tast de representativiteit van de peiling aan.
  • Meetfouten. Bij een online-onderzoek zijn er geen interviewers die de respondenten kunnen helpen bij het geven van de juiste antwoord. De respondent moet het helemaal in zijn eentje doen. En die is niet altijd zo gemotiveerd om de vragenlijst correct in te vullen. Dit kan leiden tot veel slordige of foute antwoorden.

Zelfselectie

Online-peilingen zijn populair in Nederland. Dat komt waarschijnlijk omdat bijna iedereen tegenwoordig toegang heeft tot het internet. Bij veel van die peilingen is de steekproef via zelfselectie tot stand gekomen. De vragenlijst wordt op het internet gezet en iedereen kan hem invullen. Via reclame in diverse media wordt iedereen opgeroepen mee te doen aan de peiling. Uiteindelijk zullen de respondenten voornamelijk mensen zijn die het leuk vinden om mee te doen aan een peiling of het onderwerp interessant vinden. Dit zal meestal geen representatieve peiling opleveren.

Zelfselectie geeft iedereen de mogelijkheid om de vragenlijst in te vullen. Dat kunnen dus ook mensen zijn die helemaal niet tot de te onderzoeken populatie horen. Daarmee kun dus een ‘vervuiling’ van je peiling krijgen.

Bij zelfselectie is het soms ook mogelijk om een vragenlijst meer dan één keer in te vullen. Je kunt dan proberen de uitkomst van de peiling te manipuleren door de vragenlijst een heleboel keren in te vullen. We geven drie voorbeelden van de gevaren van zelfselectie.

Voorbeeld 1: De NS Publieksprijs 2005

De NS Publieksprijs is een literaire prijs die elk jaar wordt toegekend. De winnaar wordt via een online-peiling bepaald. Voor de prijs van 2005 kon je stemmen op één van de zes genomineerde boeken, maar je kon ook zelf een boek opgeven. In totaal brachten 92.000 mensen hun stem uit.

Tot verbazing van iedereen werd niet een van de genomineerde boeken tot winnaar gekozen. 72% van de stemmers koos voor de Nieuwe Bijbelvertaling. Deze uitslag was het resultaat van een campagne gevoerd door onder anderen het dagblad Trouw, de Evangelische Omroep, het Nederlands Bijbel¬genootschap, de Katholieke Bijbel¬stichting en de Protestantse Kerk om te stemmen op de nieuwe Bijbelvertaling.

De gang van zaken was niet tegen de regels. Het zal echter duidelijk zijn dat de stemmers niet een goede afspiegeling waren van de Nederlandse bevolking

Voorbeeld 2: De Tweede Kamerverkiezingen van 2012

Bij een peiling voor de Tweede Kamerverkiezingen van 12 september 2012 deed zich een poging tot manipulatie voor. Dit meldt het NRC op 13 september 2012. Een groep van 2500 ‘infiltranten’ probeerde zich aan te melden bij het panel van peiler Maurice de Hond. Het idee van deze groep was om zicht te presenteren als CDA-stemmer en dan langzamerhand over te gaan naar de partij 50PLUS. De actie werd ontdekt omdat er ineens wel heel veel aanmeldingen voor het panel tegelijk binnen kwamen. Het laat echter wel zien dat met een wat subtielere aanpak peilingen op basis van zelfselectie te manipuleren zijn.

Voorbeeld 3: De gemeenteraadsverkiezingen van 2014

Tijdens de campagne voor de gemeenteraadsverkiezingen van 2014 werd in Amsterdam op 12 januari 2014 het Eerste Grote Lijsttrekkersdebat georganiseerd. Het Parool wilde weten hoe de lijsttrekkers het hadden gedaan en organiseerde een online-peiling. Iedereen kon zijn stem uitbrengen, dus bijvoorbeeld ook mensen van buiten Amsterdam.

De campagneteams van twee partijen merkten dat je na het uitzetten van cookies op je computer onbeperkt kon stemmen. De hele nacht bleven ze stemmen uitbrengen op hun lijsttrekker. En dus kregen de lijsttrekkers van deze partijen veel meer stemmen dan de lijsttrekkers van de andere partijen.

peiling-gemanipuleerdToen Het Parool merkte dat de peiling een heel erg afwijkende uitslag zou gaan opleveren, werd de peiling uit de lucht gehaald. De krant beschuldigde de partijen van manipulatie van de peiling. Maar het was natuurlijk wel de krant zelf die een slechte peiling had opgezet.

Demonstratie: De selectiviteit van een online-peiling

Opiniepeilingen worden vaak uitgevoerd via het internet. De reden ligt voor de hand: een online-peiling is goedkoop en snel. We kunnen het dus vaak doen. Maar dat is niet zonder haken en ogen. De demonstratie hieronder laat zien dat zo’n peiling tot verkeerde uitkomsten kan leiden.

De verkiezingen staan voor de deur in Samplonië. Vooral de Nationale Ouderen Partij (NOP) lijkt veel aanhang te hebben. In een opinieonderzoek schatten we hoeveel procent van de kiezers gaat stemmen op die partij. Om een idee te krijgen van hoe goed of slecht de schattingen kunnen zijn, herhalen we het trekken van de steekproef een groot aantal malen. Voor elke steekproef opnieuw bepalen we het percentage stemmers op de NOP. Zo krijgen we een hele reeks schattingen. Daarvan bouwen we een histogram op.

Om een reeks simulaties uit te voeren, moet je eerst de omvang van de steekproef instellen. Dat kan door klikken op het groene vierkantje onder Steekproef. Na elke keer klikken verschijnt een andere waarde. Je kunt kiezen uit een omvang van 200, 400 of 800.

Je kunt ook kiezen of je de steekproef uit de hele populatie wilt loten of alleen uit de mensen die internet hebben. Dat doe je door te klikken op het groene vierkantje onder Peiling. Je kunt kiezen of je de steekproef uit de hele populatie wilt trekken of alleen uit de mensen met internet. Je start de simulatie door te klikken op Start.

Als je steekproeven uit de hele populatie trekt, dan zullen de schattingen netjes geconcentreerd liggen om het werkelijke percentage stemmers in de hele populatie (25,4%). Trek je de steekproeven uit alleen de groep mensen met Internet, dan vallen de schattingen systematisch te laag uit

Waarom zijn de schattingen te laag? Dat komt omdat ouderen ondervertegenwoordigd zijn in de steekproeven. Het zijn immers de ouderen waarbij het internet-bezit lager is. En het zijn nu net ook de ouderen die op de NOP stemmen. Kortom, er zitten steeds te weinig NOP-stemmers in de steekproef.

De bioloog en de vissen

We illustreren de problemen van online-peilingen nog eens aan de hand van het volgende verhaal. Stel je bent bioloog en je moet vaststellen hoe het staat het de gezondheid van de vissen in twee meren. Daarvoor wil je een steekproef van vissen onderzoeken. Het probleem bij het linker meer is dat je er niet bij kunt. Je kunt daar dus geen enkele vis onderzoeken. En bij het rechter meer mag je alleen vissen onderzoeken die spontaan boven water uitspringen.

steekproef2

De grote vraag is nu: wat kun je zeggen over de gezondheid van alle vissen in de twee meren als je alleen vissen hebt onderzocht die spontaan uit het rechter meer springen? Hoe staat het met de vissen die stilletjes op de bodem liggen? En zijn je conclusie over het rechter meer zonder meer van toepassing op de vis in het linker meer? Voel je al nattigheid?