De zorgen van de Engelse peilers
Het is bijna zover. Op 23 juni 2016 kunnen de Britten kiezen of ze in de EU willen blijven, of dat ze de EU verlaten. De peilingen draaien al op volle toeren. Daaruit komt een beeld van een nek-aan-nek race tussen voor- en tegenstanders van uitreding. Maar de peilers hebben zorgen. Ze twijfelen over de betrouwbaarheid van hun eigen peilingen. Misschien levert het referendum op 23 juni wel een hele andere uitslag op.
De grafiek hieronder toont de nek-aan-nek race van de peilers. Deze grafiek van Ben Stanley van de Universiteit van Warschau is het resultaat van het combineren van alle beschikbare peilingen. De Blijvers (groen) hebben een minimale voorsprong op de Vertrekkers (rood). Er verandert niet veel, al lijkt het percentage dat het nog niet weet (bruin) gestaag af te nemen.
Op 9 mei 2016 organiseerde The Media Society in Londen een paneldiscussie over de referendumpeilingen. De titel van deze bijeenkomst was niet veelbelovend: The Euro Referendum: will the pollsters get it badly wrong again as at the 2015 election?
Inderdaad, het is net een jaar geleden dat de Britse peilers de mist ingingen bij de parlementsverkiezingen van 7 mei 2015. Ook toen was er sprake van een nek-aan-race. Maar de peilers bleken er systematisch naast te zitten. De Conservatieven behaalden een ruime overwinning. De peilers zaten er allemaal op dezelfde manier naast. Sommigen duiden dit aan als het ‘UK Polling Disaster’.
http://peilingpraktijken.nl/weblog/2016/01/het-debacle-van-de-engelse-peilingen/
Tijdens de bijeenkomst The Media Society gaf Peter Kellner, de voormalige baas van YouGov (een de grote opinieonderzoekers in het VK) toe dat hij er niet op vertrouwde dat de werkelijke uitkomst van het referendum binnen de onzekerheidsmarges van de peilingen zal liggen. En prof. John Curtice, politicoloog van de Strathclyde University deelde die twijfel.
Waar komt al die twijfel vandaan? Dat heeft zeker te maken met debacle van een jaar geleden. Daarna besloot de British Polling Council (BPC) een onafhankelijk onderzoek in te stellen. De BPC is een organisatie van opinieonderzoekers die regelmatig uitkomsten van peilingen publiceren. De onderzoekers trokken uiteindelijk de conclusie dat de steekproeven van de peilers niet representatief waren. En de toegepaste wegingstechnieken waren onvoldoende effectief om dit gebrek aan representativiteit weg te werken.
Een deel van de Britse peilers doet online peilingen. Daarvoor maken ze gebruik van online panels. Deze panels zijn gevuld via zelfselectie (en niet door loting). Daardoor zijn ze niet representatief. En steekproeven uit de panels zijn dus ook niet representatief.
Een ander deel van de Britse peilers doet telefonische peilingen. Ook deze manier van peilen is niet zonder problemen. Het telefoonboek is ongeschikt om daaruit een steekproef te trekken. Heel veel mensen staan daar immers niet in. Je vindt slechts een deel van de vaste nummers en geen enkel mobiel nummer. Dus je mist een flink deel van de bevolking. De peilers omzeilen dit probleem met ‘random digit dialing’. Ze genereren willekeurige telefoonnummers met een computer. De respons bij telefonische peilingen is erg laag. Niet meer dan 20%. En in stedelijke gebieden vaak niet hoger dan 10%. Deze hoge non-respons tast ook de representativiteit aan.
Er zijn dus problemen met het meten van de politieke voorkeur. Die problemen zijn het afgelopen jaar niet opgelost. Dus waarom zou het nu bij het referendum wel goed gaan?
De peilers gaven tijdens de bijeenkomst van The Media Society ook aan dat het voorspellen van de uitkomst van parlementsverkiezingen toch wel iets heel anders is dan het voorspellen van de uitkomst van een referendum. Ze hebben geen ervaring met referenda. Bij peilingen voor de parlementsverkiezingen kunnen ze het stemgedrag bij de vorige verkiezingen gebruiken om hun steekproeven te ijken. Bij het referendum hebben ze geen stemgedrag bij een vorig referendum. En het is nog maar de vraag of gebruik van gegevens over de vorige parlementsverkiezingen helpt.
De peilers twijfelen dus. Het is goed dat te beseffen wanneer er weer een Brexit-peiling langs komt. Misschien moet je die maar met een korreltje zout nemen.
