Opnieuw een UK Polling Disaster?
Op 22 mei 2024 kondigde de Britse premier Rishi Sunak aan dat de Britten op 4 juli 2024 naar de stembus zouden gaan voor de parlementsverkiezingen. Dat was een half jaar eerder dan veel deskundigen dachten. Waarschijnlijk hoopte de premier zo het verlies van zijn partij (de Conservatieven) binnen de perken te houden.
In de aanloop naar deze verkiezingen werd er weer heel veel gepeild. Vrijwel al die peilingen voorspelden een grote overwinning voor Labour. Je kunt je afvragen wat die peilingen waard zijn als ze al ruim voor de verkiezingen worden gehouden. Er kan immers van alles misgaan. Het is daarom nuttig om achteraf de peilingen nog eens te vergelijken met de werkelijke uitslag van de verkiezingen in 2024.
Tabel 1 geeft een opsomming van de peilingen in de laatste week voor de verkiezingen. Het was de periode na de verkiezingsdebatten tussen de partijleiders Rishi Sunek (Conservatieven) en Keir Starmer (Labour). De peilingen zijn geordend naar tijdstip van afname, van oud (onderaan) naar recent (bovenaan). De gegevens zijn afkomstig van de verkiezingswebsite van de BBC.
Alle peilingen hebben een behoorlijk grote steekproefomvang. Die ligt zo tussen de 1.000 en 20.000 personen. Die steekproefomvang zou voldoende moeten zijn om redelijk nauwkeurig schattingen te kunnen maken van de werkelijke uitslag (mits er sprake is van representatieve steekproeven).
De kolom “Lab” bevat de prognose (in procenten) voor Labour. Die prognoses liggen allemaal tussen de 36 en 41 procent. De kolom “Con” bevat de prognoses (ook in procenten) voor de Conservatieven. Al deze prognoses liggen tussen de 16 en 24 procent. De laatste kolom in de tabel bevat het verschil tussen de prognose voor Labour en die voor de Conservatieven. Die prognoses liggen vrijwel allemaal tussen de 13 en 20 procentpunten.
Uit een eerste blik op de tabel kunnen we wel de conclusie trekken dat er maar weinig verschillen zijn tussen al deze peilingen. Ze voorspellen allemaal een grote overwinning voor Labour. De voorsprong van Labour op de Conservatieven bedraagt minimaal 13 procentpunten en kan oplopen tot 20 procentpunten. Het gemiddelde over de 14 peilingen is 17,4 procentpunt.
Je kunt je afvragen of er misschien sprake is van significante verschillen tussen de peilingen, of dat er alleen maar sprake is van statistische ruis die is veroorzaakt door het loten van de steekproef. Om dit te onderzoeken, hebben we een dotplot gemaakt. Figuur 2 bevat die dotplot. Hierbij veronderstellen we dat de steekproeven representatief zijn.
De horizontale stippellijnen corresponderen met de verschillende peilingen. De blauwe bolletjes geven de prognoses van de peilers aan. De horizontale blauwe lijnsegmenten corresponderen met de onzekerheidsmarges. Vrijwel alle onzekerheidsmarges overlappen elkaar. Is dus geen sprake van significante verschillen tussen de peilingen.
De grafiek in figuur 2 bevat ook de werkelijke verkiezingsuitslag. Dat is de verticale rode lijn. Die geeft aan dat er volgens de officiële uitslag er een verschil van 10 procentpunten is tussen Labour en de Conservatieven. Uit de grafiek blijkt duidelijk dat er sprake is van een ernstig probleem bij de peilingen. Ze voorspellen immers allemaal een veel te groot verschil. Al die verschillen zijn significant te groot. Het gemiddelde verschil in de 14 peilingen is 17,4 procentpunten en dat is 7,4 procentpunten meer dan de 10 procent van de officiële uitslag.
Uit contacten met prof. John Curtice van de University of Strathclyde in Schotland (hij is de peiling-expert van de BBC) blijkt dat het elke keer weer fout gaat bij het schatten van het verschil tussen Labour en Conservatieven. Ook in 1997 en 2015 was er sprake van een overschatting van 7 procentpunten. En 1992 was er zelfs een overschatting van 9 procentpunten.
De peilers zaten er dus behoorlijk naast in 2024. In navolging van de problemen in 2015 kun je dus concluderen dat er ook in 2024 sprake was van een UK Polling Disaster.
Op 22 mei 2024 waren er parlementsverkiezingen in het Verenigd Koninkrijk. In de aanloop naar deze verkiezingen werd er weer heel veel gepeild. Vrijwel al die peilingen voorspelden een grote overwinning voor Labour. Je kunt je afvragen wat die peilingen waard zijn als ze al ruim voor de verkiezingen worden gehouden. Er kan immers van alles misgaan. En er ging ook van alles mis. Er was weer sprake van een UK Polling Disaster.
