Hoe slecht kan een peiling zijn?
Hoe slecht kan een peiling zijn? Dat vraagt Andrew Gelman zich in de Washington Post van 7 april 2015 af naar aanleiding van een peiling van de Engelse krant over Daily Express over Europa. Is het nog wel een peiling of is het gewoon manipulatie met cijfers?
De Daily Express is niet bepaald een kwaliteitskrant. Het is een boulevardkrant. De krant is rechts, conservatief en populistisch. De krant is tegen de EU, immigranten, buitenlanders en minderheden. De krant staat vol sport, roddel en schandalen.
Als de krant dan in januari 2015 een peiling uitvoert over een mogelijk vertrek van Engeland uit de EU, is het oppassen geblazen. De uitslag van die peiling is duidelijk: 80% van de Britten wil uit de EU! En het is niet zo maar een peiling. Volgens de Daily Express is het de grootste peiling over de EU in 40 jaar. Daarom sprak de krant zelfs van een mini-referendum. Verder noemde de krant de uitkomst een grote sprong voorwaarts in de kruistocht tegen het EU-lidmaatschap. Dat klinkt niet erg objectief.
Als de uitkomsten van een peiling met zoveel poeha bekend wordt gemaakt, is het goed om wat nader te kijken naar de manier waarop de peiling was uitgevoerd. De belangrijkste vraag is natuurlijk of de peiling representatief was. Nou, dat was helemaal niet het geval.
De peiling was georganiseerd door drie heren van de Conservatieve Partij. Peter Bone zit namens het kiesdistrict Wellingborough in het parlement en Philip Hollobone namens het kiesdistrict Kettering. En Tom Pursglove probeert een zetel te veroveren in het kiesdistrict Corby. De drie kiesdistricten liggen in het graafschap Northamptonshire (zo’n 100 km boven Londen) en grenzen (toevalligerwijs?) aan elkaar. Er is dus zeker geen sprake van een representatieve steekproef van kiesdistricten uit de in totaal 650 kiesdistricten.
De drie heren hebben in totaal 100.000 stembiljetten uitgedeeld in hun kiesdistricten. Daarvan kwamen er 14.581 ingevuld terug. Dat is een respons van bijna 15%. Dat is een wel erg lage respons. Hoe zit het met de non-respondenten? Hebben die geen mening over de toekomst van Engeland in de EU? Of willen ze misschien hun mening niet zeggen? Anders gezegd: zijn die 14.581 respondenten eigenlijk wel representatief voor alle inwoners in de drie kiesdistricten? Daar kun je grote vraagtekens bij zetten.
Volgens de Daily Express stemden 11.706 respondenten voor het verlaten van de EU en 2.725 respondenten wilden in de EU blijven. Als je alleen naar deze twee aantallen kijkt, dan kom je inderdaad tot de conclusie dat 81% uit de EU wil. Maar dan vergeet je wel alle mensen die niet hun mening wilden geven. De grafiek hieronder geeft een eerlijker samenvatting.
Als zoveel mensen de vraag over wel of niet blijven in de EU niet willen beantwoorden, dan is de conclusie niet gerechtvaardigd dat 80% tegen de EU is.
De peiling is dus op twee manieren niet representatief. In de eerste plaats is er geen representatieve steekproef van kiesdistricten getrokken. En in de tweede plaats is de non-respons in de drie geselecteerde kiesdistricten zo groot, dat de respons ook niet representatief zal zijn.
Het artikel in de Daily Express bevat geen informatie over hoe het uitdelen en invullen van de stembiljetten in de praktijk in zijn werk ging. Je vreest het ergste als je weet de drie organiserende heren belang hadden bij een bepaalde uitslag.
De conclusie moet luiden dat deze peiling wel heel erg slecht was. Je kunt eigenlijk niet van een peiling spreken.
