Een slechte peiling van de EU over het afschaffen van de zomer en wintertijd

Op 31 augustus 2018 kondigde voorzitter Claude Juncker van de Europese Commissie (EC) aan dat deze Commissie het systeem van zomer- en wintertijd wil afschaffen. Hij kwam met deze mededeling nadat uit een ‘raadpleging’ van de inwoners van de EU was gebleken dat een groot deel (84%) af wilde van het twee maal per jaar verzetten van de klok. De voorzitter van de EC zei tegen de Duitse omroep ZDF: ‘De mensen willen het, dus we gaan het doen’. De vraag is echter hoe betrouwbaar de uitkomsten van de raadpleging zijn. Geven die wel een goed (representatief) beeld van de mening van de inwoners van de EU? Nou, nee.

Wat meteen al opvalt is dat de term ‘raadpleging’ wordt gebruikt door de onderzoekers. Dus niet peiling, survey of enquête. Wat wordt bedoel met raadpleging is niet duidelijk. Het is geen goed gedefinieerde term. Meestal betekent het zoiets als advies vragen of informatie zoeken. Maar het suggereert geen representativiteit. Dus ‘raadpleging’ is een onduidelijke term. De voorkeur moet daarom uitgaan naar ‘peiling’ of ‘survey’.

Willen de uitkomsten van deze peiling een goede afspiegeling zijn van de mening van de alle inwoners in de lidstaten van de EU, dan verdient het aanbeveling een aselecte steekproef te trekken. Iedere inwoner moet dezelfde kans hebben om in de steekproef te komen. Dat is bij deze peiling zeker niet het geval. Het gaat op allerlei manieren mis.

Een eerste probleem is dat er sprake is van een online peiling. Dat betekent dat alleen inwoners mee kunnen doen die een internetverbinding hebben. In Nederland is dit niet zo’n probleem. 98% van de huishoudens heeft internet. Maar in andere landen, vooral in het zuidoosten van Europa, ligt dit percentage nog onder de 70%. Veel groepen, en dat zijn vooral ouderen, laag opgeleiden, mensen met een laag inkomen, zijn zwaar ondervertegenwoordigd. Ze hebben dus niet hun mening kunnen geven, ook al wilden ze dat. Dat leidt tot vertekening.

Een goede peiling maakt gebruik van een aselecte steekproef. Dat is een steekproef die door loting is gevormd. Deze aanpak garandeert dat iedereen een kans heeft om in de peiling te komen, en ook dat iedereen dezelfde kans heeft om in de steekproef te komen. Daardoor krijg je de garantie dat de peiling in alle opzichten representatief is. Helaas is de raadpleging van de EU niet gebaseerd op een aselecte steekproef. In plaats daarvan is gebruik gemaakt van zelfselectie. Dat is lekker makkelijk. Je zet de vragenlijst op het internet en je ziet wel wie hem invult. Helaas leidt dit niet tot een representatieve steekproef. Iedereen kan meedoen (zelfs Amerikanen), je kunt meer keren meedoen (bijvoorbeeld door te ‘rommelen’ met je contactgegevens) en groepen mensen kunnen zelfs proberen de uitkomsten te manipuleren. Met een netjes gelote steekproef is dat allemaal niet mogelijk.

En al heb je een aselecte steekproef, dan nog kun je problemen krijgen door het optreden van non-respons. De grafiek hieronder toont de responspercentages per land bij de raadpleging. Het is duidelijk dat er enorme verschillen zijn. Het responspercentage is het hoogst in Duitsland. 3,79 procent van de bevolking deed daar mee. Dat komt neer op 3,1 miljoen respondenten. In Nederland was het responspercentage slechtst 0,16 procent. Dit komt overeen met 27.000 respondenten. Dat is heel wat minder.

Als je een aselecte steekproef zou hebben getrokken, dan zou je ook meer Duitsers hebben gekregen dan Nederlanders. Dat is logisch want er zijn meer Duitsers (83 miljoen) dan Nederlanders (17 miljoen). De verschillen in de peiling van de EU zijn echter veel groter. Op basis van een steekproef van 4,6 miljoen mensen zou je 740 000 Duitsers verwachten in plaats van 3,1 miljoen. En het aantal Nederlanders zou 156.000 moeten zijn in plaats van 27.000. De verhoudingen kloppen dus niet. Duitsers zijn zwaar oververtegenwoordigd en Nederlanders zwaar ondervertegenwoordigd.

Als de steekproef niet representatief is, wie zijn het dan die vooral hebben meegedaan? Volgens Statistikprofessor Walter Krämer van de Technischen Universität Dortmund moeten we er vanuit gaan ‘dass die Leute, denen das Thema wichtig ist, die sich ärgern, wenn die Uhr umgestellt wird, mitgemacht haben. Menschen, die der Zeitumstellung positiv oder gleichgültig gegenüberstehen, hätten sich wahrscheinlich kaum beteiligt’.

Kortom, het zijn vooral de mensen die actie voeren tegen het verzetten van de klok, die hebben meegedaan aan de peiling. Voorstanders van het handhaven van de huidige situatie en mensen die het helemaal niets kan schelen, voelden zich kennelijk niet geroepen hun mening te geven. En zo leidt zelfselectie automatisch tot aantasting van de representativiteit.

De peiling vond plaats in de periode van 4 juli 2018 tot 16 augustus 2018. Dat zijn precies de twee zomermaanden. Dit is een zeer ongebruikelijke periode voor het houden van een peiling. Heel veel mensen zijn dan immers op vakantie. Daardoor weten ze niet van het bestaan van de peiling. En als ze wel op de hoogte zijn, dan staat hun hoofd er vast niet naar. Vanwege deze risico’s vermijden grote statische organisaties vaak de zomer.

De grote hoeveelheid Duitse respondenten baart ook zorgen in verband met het fenomeen van ‘votebots’. Een ‘bot’ (afgeleid van robot) is een computerprogramma dat op een autonome manier taken uitvoert die normaal door mensen worden gedaan. Een ‘votebot’ is een bot die automatisch stemmen uitbrengt. Hij kan dat heel veel keer doen in korte tijd zonder dat daar mensen aan te pas komen. Zo kunnen votebots de uitslag manipuleren. Zou dat bij de Duitse stemmen ook gebeurt kunnen zijn? Bij de campagne voor de Amerikaanse presidentsverkiezingen waren votebots actief. Die werden geactiveerd in landen als Roemenië, Duitsland en Zuid-Korea. Votebots kunnen alleen worden gebruikt bij zelfselectie en niet bij aselecte steekproeven.

Wanneer een peiling of survey niet representatief is, kun je proberen hem representatief te maken. Dat doe je met een weging. Je geeft ondervertegenwoordigde groepen een groter gewicht en oververtegenwoordigde groepen een kleiner gewicht. Daarvoor heb je weegvariabelen nodig. Dat zijn variabelen die je meet in de peiling en waarvan je de verdeling in de populatie kent. Voorbeelden zijn geslacht, leeftijd, regio, en opleidingsniveau. Helaas wordt dit soort kenmerken niet gemeten bij de raadpleging. Dus kan er niet worden gewogen. Er is één variabele die wel in aanmerking komt. Dat is het land van herkomst. Het is echter zeer de vraag of je hiermee de vertekening in de uitkomsten kan worden weggewerkt.

Een merkwaardig aspect van de raadpleging van de EU is dat alle respondenten hun persoonlijke gegevens moeten opgeven (voornaam, achternaam en e-mailadres). Daardoor zijn de verstrekte gegevens niet meer anoniem. Dat is zeer ongebruikelijk. Bij peilingen en surveys zijn de gegevens juist anoniem om de respondenten te beschermen. Het moeten vermelden van privégegevens kan ertoe leiden dat men niet meer mee wil doen aan het onderzoek, of andere, meer sociaalwenselijke, antwoorden te geven.

Bij de raadpleging ging het niet alleen om de opinie van personen. Ook organisaties, bedrijven en overheden konden hun mening geven. Als je dat leest dan vraag je je af wat nu precies de doelpopulatie van het onderzoek is. Ook is niet duidelijk hoe de percentage van 84% (voorstanders van afschaffen van de zomer-/wintertijd) is berekend. Ben je niet appels met peren aan het vergelijken? In feite ontbreekt de onderzoeksdocumentatie. De meeste grote peilers hebben afgesproken om opzet en uitvoering van hun onderzoeken goed te documenteren. Ze willen zo transparant zijn. Helaas is dit bij deze raadpleging niet het geval. Ik zou willen aanbevelen deze documentatie zo snel mogelijk op het internet te zetten.

Als je een beeld wil hebben van wat de opinie inwoners van de EU over bepaalde zaken, dan zou je kunnen overwegen de Eurobarometer te gebruiken. Die wordt sinds 1974 minimaal twee keer per jaar gehouden. De vragen over de zomer-/wintertijd zouden eenvoudig kunnen worden ingebed in de vragenlijst. Nu is de Eurobarometer niet zo’n goede peiling (zie het artikel van Bethlehen & Holsteijn), maar hij is vast wel iets beter dan deze raadpleging. En de kosten zijn ook vast lager.

Kortom, de raadpleging van de EU over het afschaffen van zomer-/wintertijd is geen goed instrument voor het verkrijgen van een representatief beeld van de meningen van de inwoners. Je kunt de uitkomsten dus niet gebruiken bij de besluitvorming hierover. Het is beter om een nieuwe, wetenschappelijk verantwoorde peiling te doen.

We kunnen concluderen dat deze peiling niet representatief is. De respons geeft daarom alleen maar een goed beeld van de 4,6 miljoen respondenten. Die respons staat dus niet voor de ruim 500 miljoen Europeanen die niet hebben meegedaan. Daarmee blijft het onduidelijk hoe die 500 miljoen Europeanen er over denken.

Reacties

  1. Jan Jonker schreef:

    Heel goed om dit soort uitleg en waarschuwingen te (blijven) geven. Zelfs als het gevoel je bekruipt een ‘roepende in de woestijn’ te zijn.

Reacties zijn gesloten.