Waarom zaten de peilers er zo naast in Engeland?

Veel Britse peilers denken met afgrijzen terug aan de parlementsverkiezingen die op 7 mei 2015 plaatsvonden in Groot-Brittannië. Want die verkiezingen waren een debacle voor de peilers. Ze zaten er allemaal systematisch naast met hun voorspellingen. Ze voorspelden allemaal een nek-aan-nek race voor Labour en de Conservatieven. Maar de uitslag was heel anders: de conservatieven wonnen met een ruime meerderheid. De Conservatieven kregen 7% meer stemmen dan Labour. Hoe kon dit zo gebeuren? Nieuw onderzoek lijkt wat meer duidelijkheid te geven.

bes1

Op 13 november 2015 bericht The Guardian over de British Election Study (BES). In het kader van de BES is na de verkiezingen een groot onderzoek uitgevoerd. Er is een peiling gehouden die helemaal voldeed aan de regels van goed onderzoek. Dit onderzoek zou je kunnen zien als een soort ‘Gouden Standaard’ waaraan je ander onderzoek kunt ijken. In dit onderzoek is gevraagd of men heeft gestemd bij de verkiezingen, en zo ja, op welke partij men heeft gestemd. In de grafiek hieronder wordt de verkiezingsuitslag vergeleken met de peilingen vlak voor de verkiezingen en met de BES-peiling.

bes2

In de grafiek kun je zien dat de peilingen vlak voor de verkiezingen de mist in gingen. Ze voorspelden allemaal 34% voor zowel Labour als de Conservatieven. In de verkiezingsuitslag hadden de conservatieven echter 7% meer dan Labour. In de BES-peiling komt het verschil ook uit op 7%.

De percentages voor Labour en de Conservatieven zijn wel iets hoger (2% meer). Dus de schattingen zijn niet helemaal perfect, maar wel aanzienlijk beter dan die van de peilingen vlak voor de verkiezingen. De onderzoekers van BES zijn er nog niet uit waar die 2% vandaan komt. Ze vermoeden dat er in deze peiling wat teveel stemmers zitten (en te weinig niet-stemmers). Het zou ook te wijten kunnen zijn aan het geven van sociaalwenselijke antwoorden.

Waarom was de BES-peiling beter dan de peilingen vlak voor de verkiezingen? Dat had volgens deskundigen vooral te maken met de wijze waarop de steekproef tot stand was gekomen. De steekproef van de BES-peiling was ‘volgens het boekje’ geselecteerd. Uit een bestand met adressen van iedereen in Groot-Brittannië was een ‘nette’ aselecte steekproef getrokken. Daarbij was ook nog eens gestratificeerd naar kiesdistrict, zodat de spreiding over het land goed was.

Bij de BES-peiling werd face-to-face geïnterviewd. Interviewers (van GfK) bezochten de personen in de steekproef thuis en deden daar de interviews met behulp van een laptop. We noemen dat CAPI (computer-assisted personal interviewing). De ervaring heeft geleerd dat CAPI vaak betere gegevens oplevert dan telefonische of online peilingen.

Zoals bij alle peilingen, was er ook bij de BES-peiling sprake van non-respons. Er werd een steekproef van 5341 personen getrokken. Uiteindelijk deden 2987 personen. Dit is een respons van 55,9%. Dit is een behoorlijk percentage respons. Bij het CBS in Nederland zijn de responspercentages in dezelfde orde van grootte. Naarmate de respons beter is, loop je minder risico op grote afwijkingen. Om voor eventuele vertekeningen ten gevolge van non-respons te corrigeren, is de respons gewogen naar leeftijd, geslacht en regio.

De peilingen vlak voor de verkiezingen kun je indelen in twee groepen. Er zijn telefonische peilingen en online peilingen. Bij de telefonische peilingen worden willekeurige telefoonnummers gegenereerd via de computer en die worden gebeld. Dat wordt Random Digit Dialing (RDD) genoemd. Probleem bij deze peilingen is dat de respons steeds maar lager wordt. In de VS ligt de respons zelfs al vaak onder de 20%. Verder is het lastige om mensen met alleen mobiele nummers in de steekproef te krijgen. Door dit soort problemen kan de representativiteit van een telefonische peiling ernstig zijn aangetast.

De online peilingen maken gebruik van zelfselectie om respondenten te werven. De mensen die meedoen zijn mensen die zich spontaan hebben gemeld. Ze vinden het leuk om mee te doen aan peilingen of zijn geïnteresseerd in het onderwerp van de peiling. Dat levert meestal geen representatieve steekproef op.

Uit de vergelijking van de BES-peiling met de peilingen vlak voor de verkiezingen wordt duidelijk dat er iets mis is met de jonge stemmers en de jonge niet-stemmers. Volgens The Guardian gaf 44% van de jongeren (personen onder de 30 jaar) aan niet te hebben gestemd. Bij de peilingen vlak voor de verkiezingen gaf 15% de jongeren aan vermoedelijk niet te zullen gaan stemmen. Die 15% is veel te laag. In de peilingen voor de verkiezingen zaten dus te weinig jongeren die niet stemmen en teveel jongeren die wel stemmen. Bedenk hierbij ook dat het totale opkomstpercentage 66% was. Dus een schatting vvan de opkomst van 85% (100% – 15%) is wel heel erg onwaarschijnlijk.

De puzzelstukjes beginnen nu in elkaar te vallen. Uit ander onderzoek is namelijk gebleken dat jonge stemmers vooral op Labour stemmen. Als er teveel jonge stemmers in de peiling zitten, dan zitten er dus ook teveel Labour stemmers in de peiling. Kortom, de voorspelling voor Labour is te hoog, en dus te voorspelling voor de Conservatieven te laag. Doordat de steekproef van de BES-peiling een betere afspiegeling is van de populatie, zijn de schattingen van deze peiling realistischer.