Teleurstelling over de Brexit-peilingen
Velen zijn nog niet bekomen van de schok. De Britten gaan de EU verlaten. En dat terwijl de laatste peilingen erop leken te wijzen dat ze wel in de EU zouden blijven. Dat roept de vraag op hoe goed de peilers het hebben gedaan. Zeker na het ‘UK polling disaster’ bij de parlementsverkiezingen van mei vorig jaar.
Bij het referendum stemde 51,9% voor het verlaten van de EU (Brexit) en 48,1% gaf aan in de EU te willen blijven. Was deze uitkomst door de peilers voorspeld? Er waren heel veel peilingen tijdens de campagne. De uitkomsten van deze peilingen werden bijgehouden op Wikipedia. In deze analyse zijn alleen de zeven peilingen meegenomen die in de laatste week zijn gehouden (dus na de moord op het parlementslid Jo Cox). Bij het berekenen voor de percentages ‘Remain’ en ‘Leave’ zijn niet-stemmers en nog-niet-weters buiten beschouwing gelaten. Een overzicht van de gegevens staat in de onderstaande tabel.
Wat als eerste opvalt is dat vijf van de zeven peilingen voorspellen dat de Britten in de EU zullen blijven. Twee van de zeven peilingen voorspellen een Brexit, maar de meerderheid is met 51% erg krap.
De peilingen zijn telefonisch of online uitgevoerd. Er is tijdens de campagne nogal wat discussie geweest over mogelijke systematische afwijkingen tussen online peilingen en telefonische peilingen. Telefonisch peilingen zouden hogere scores voor ‘Remain’ opleveren dan online peilingen. In de tabel zijn die verschillen niet zo duidelijk. Wel kun je zeggen dat de drie telefonische peilingen een ‘Remain’ voorspelden. Bij de online peilingen was er een gemend beeld. De ‘twee peilingen die ‘Leave’ voorspelden waren beide online peilingen.
Opvallend is de peiling van Populus. Het was een grote peiling (een steekproef van 4700) vlak voor de verkiezing (22 juni). Die peiling zat er dus helemaal naast. Dit laat nog maar eens zien dat dat grote steekproeven problemen met peilingen niet oplossen.
In deze analyse is er tot nog toe geen rekening mee gehouden dat peilingen onzekerheidsmarges hebben. Een eerlijker beoordeling van peilingen houdt rekening met deze marges. In de grafiek hieronder zijn deze marges grafisch weergegeven.
Bij twee peilers (TNS en Opinium) ligt de werkelijke uitslag duidelijk binnen de onzekerheidsmarges. Deze peilers hebben het dus goed gedaan. Bij Survation ligt de werkelijke uitslag nog net binnen de marges. Dit is echter alleen maar gelukt omdat de omvang van de steekproef relatief klein is (1003), waardoor de marge relatief groot is. En de voorspelling van Survation was dat ‘Remain’ zou winnen. Een twijfelachtig resultaat dus. Het zou beter zijn geweest als Survation geconcludeerd had dat het ‘too close to call’ was.
De voorspellingen van Ipsos MORI en YouGov zijn significant te laag. Maar hun marges laten nog wel toe dat het werkelijke percentage ‘Leave’ nog net boven de 50% ligt. De voorspellingen van ComRes en Populus zijn in alle opzichten significant te laag.
Al met al is er geen ruimte voor grote tevredenheid. De British Polling Council (BPC) was dan ook teleurgesteld over de uitkomsten van de peilingen. Die peilingen voorspelden allemaal een te hoog percentage ‘Remain’. Bij het ‘UK Polling Disaster’ van mei 2015 besloot de BPC om nader onderzoek te doen naar de oorzaak van de foute peilingen. De BPC gaat dat nu niet doen. Een referendum is een unieke gebeurtenis. De uitkomsten van onderzoek van de referendumpeilingen kun je daardoor niet vertalen naar peilingen voor algemene verkiezingen.
Het was dus geen makkelijke klus voor de peilers. Ze hadden geen ervaring met peilingen voor een referendum. Daardoor wisten ze niet of hun gebruikelijke methoden wel zouden werken. Bovendien was al eerder uit onderzoek gebleken dat hun steekproeven niet representatief zijn. En het is maar de vraag of hun correctietechnieken wel werken. Daar komt nog bij de dat de percentages ‘Remain’ en ‘Leave’ vlak bij elkaar lagen. Dus een kleine afwijking in een peiling kon al tot een totaal andere conclusie leiden.
