PeilingPraktijken

De uitslag van de Britse Verkiezingen was verrassend. De conservatieven kregen de absolute meerderheid, de Liberal Democrats werden gedecimeerd en in Schotland werd Labour weggevaagd door de Scottish National Party. De uitslag was verrassend omdat hij niet was voorspeld. Bijna alle peilers hadden voortdurend geroepen dat het een nek-aan-nek race zou worden tussen Labour en de Conservatieven. Het hing erom wie de grootste partij zou worden. Tijd voor een nadere analyse.

Er zijn heel wat peilers in het Verenigd Koninkrijk. Die voeren allemaal regelmatig peilingen uit. De belangrijkste karakteristieken staan in onderstaande tabel. Het gaat alleen om peilingen die op 6 en 7 mei, dus vlak voor de verkiezingen, nog gegevens hebben verzameld. De cijfers zijn percentages.

Bij de echte verkiezingen kregen de Conservatieven 38% van de stemmen en Labour 31%. Dat is een verschil van 7 procentpunten. Het lijkt erop dat de peilers inderdaad allemaal lager zaten met het verschil tussen deze twee partijen. Daarbij moeten we wel bedenken dat de peilers met steekproeven werkten en er dus sprake was van onzekerheidsmarges. Die marges zijn uitgerekend en grafisch weergegeven in onderstaande grafiek.

De rode cirkels geven de verschillen aan zoals die zijn waargenomen in de peilingen. De horizontale lijnen duiden de onzekerheidsmarges aan in de vorm van 95%-betrouwbaarheidsintervallen. En de verticale zwarte lijn is het werkelijk verschil bij de verkiezingen. In bijna alle gevallen bevat het betrouwbaarheidsinterval niet de werkelijke waarde. We kunnen daarom concluderen dat het verschil tussen beide partijen in de peilingen significant lager was dan bij de verkiezingen zelf. Er is dus iets mis met die peilingen.

Er is één peiling waarbij er geen significant verschil was met de verkiezing en dat is de peiling van Survation op 6 mei. Damian Lyons Low, de stichter en CEO van Survation, legt op de website van zijn bedrijf uit dat dit een bijzondere peiling was. Het was een kleine peiling die op het allerlaatste moment werd uitgevoerd om te controleren of de kiezers niet plotseling van mening waren veranderd. Het was een telefonische peiling, met willekeurig gegenereerde telefoonnummers van vaste en mobiele telefoons. Bijzonder aan deze peiling was dat Survation bij elke nummer de postcode opzocht en zo kon vaststellen in welk kiesdistrict de respondent woonde. In de vraagstelling werden lokale kandidaten van de verschillende partijen expliciet genoemd. Dat leek het telefoongesprek wat persoonlijker te maken.

De peiling van Survation kwam dus met een afwijkende voorspelling van het verschil tussen Conservatieven en Labour. Dat deed echter geen alarmbellen rinkelen. De peiling werd afgedaan als een uitschieter, afwijkende peiling die je af en toe wel eens kunt tegenkomen.

We blijven zitten met de conclusie dat de meeste peilingen systematisch afweken van de werkelijke uitslag. En ze weken dus allemaal op dezelfde manier af. Wat kan daarvoor de verklaring zijn? Daar valt weinig zinnigs over te zeggen zonder nader onderzoek. De British Polling Council heeft al aangegeven dat dit onderzoek er komt. We kunnen wel speculeren over een aantal mogelijke verklaringen.

Een eerste verklaring zou kunnen zijn wat we aanduiden met een ‘Late Swing’. Kiezers zouden op het laatste moment van mening zijn veranderd. De hierboven beschreven laatste peiling van Survation zou daar misschien wel een aanwijzing voor kunnen geven. Aan de andere kant gaven de peilingen al heel lang een min of meer constant beeld van een nek-aan-nek race. Waarom zou dat opeens op de laatste dag veranderen?

Een tweede mogelijke verklaring is een verschijnsel dat de ‘shy Tories’ wordt genoemd. Speciaal veel aanhangers van de Conservatieven zouden niet openlijk in een peiling willen toegeven dat ze op die partij stemmen. Speciaal bij deze verkiezingen zou dat het geval kunnen zijn bij mensen die vorige keer nog op de Liberal Democrats stemden en nu weer overstapten naar de Conservatieven.

Er is eerder een ‘polling disaster’ geweest in het Verenigd Koninkrijk. Dat was in 1992. Ook toen gaven de peilingen aan dat er sprake was van een nek-aan-nek race tussen Labour en Conservatieven en ook toen wonnen de Conservatieven. Er zijn toen procedures ontwikkeld om hiervoor te corrigeren. Kennelijk werkten die correcties dit keer niet.

Een derde mogelijke verklaring zou kunnen zijn dat de opkomst met 66% hoger was dan verwacht. Het zou kunnen dat door de voorspelde nek-aan-nek race meer mensen besloten toch te gaan stemmen terwijl ze in peilingen aangaven dat ze dat waarschijnlijk niet zouden doen. Deze mogelijk kan vrij snel onderzocht worden door het analyseren van de beschikbare gegevens.

Een vierde mogelijke verklaring zou kunnen zijn dat de gebruikte steekproeven niet representatief waren. In Engeland gebruiken sommige peilers online enquêtes terwijl andere peilers telefonische enquêtes gebruiken. De online peilingen zijn niet gebaseerd op nette aselecte steekproeven maar op zelfselectie van respondenten. Dit kan afbreuk doen aan de representativiteit. Ook telefonische enquêtes kunnen problemen opleveren, vooral als er geen mobiele nummers in de steekproef zitten. Het lijkt echter op het eerste gezicht niet zo voor de hand te liggen dat online peilingen en telefonische peilingen tot dezelfde afwijking leiden.

Een vijfde mogelijk verklaring van de problemen zou een toename van de non-respons kunnen zijn. In veel landen lijkt de non-respons in peilingen toe te nemen. De non-respondenten zijn meestal afwijkende groepen, waardoor er vertekeningen in de uitkomsten kunnen ontstaan. Helaas zijn de Britse peilers weinig transparant in het geven van informatie over non-respons.
De hier beschreven ‘polling disaster’ laat nog eens zien dat onderzoekers heel erg zorgvuldig moeten zijn bij het opzetten en uitvoeren van politieke peilingen. Kwaliteit heeft een prijs. Afbreuk doen aan de kwaliteit in een poging de kosten van een peiling binnen de perken te houden kan makkelijk tot ongelukken leiden.