Ligt Labour wel voor op de Conservatieven?
Number Cruncher Politics (NCP) is een vrij nieuw onderzoeksbureau in het Verenigd Koninkrijk. Het pretendeert het anders te doen dan andere peilers. NCP gaat er prat op het Engelse peildrama in 2015 (alle peilers zaten er toen naast) te hebben voorspeld. Op 15 augustus 2018 kwam NCP met de uitkomsten een nieuwe politieke peiling. Volgens die peiling heeft Labour nu een voorsprong van twee procentpunten op de Conservatieven. Maar klopt die conclusie wel? Kun je de uitkomsten van de peiling zo maar vertalen in een landelijk beeld. Daarop valt nogal wat af te dingen.
Volgens de peiling krijgt Labour 40% van de stemmen en de Conservatieven 38%. Dat is inderdaad een voorsprong van twee procentpunten. Wat de peilers over het hoofd zien, is dat dit de uitkomsten van een steekproef zijn. Die kun je niet zonder meer vertalen naar de hele populatie. Je moet rekening houden met onzekerheidsmarges. Zo is de onzekerheidsmarge voor Labour gelijk aan 3%. Je kunt dan alleen maar de conclusie trekken dat het percentage voor Labour met grote waarschijnlijkheid ligt tussen 37% en 43%. Op dezelfde manier ligt het percentage voor de Conservatieven tussen 35% en 41%. Beide intervallen overlappen en daarom kun je niet concluderen dat de percentages voor Labour en de Conservatieven significant verschillen. Je kunt dus niet concluderen dat Labour voor ligt op de Conservatieven.
In het staafdiagram zijn de uitkomsten van de peiling grafisch weergegeven. Dat geeft een helderder beeld dan al die cijfers. De ‘harkjes’ aan de uiteinden van de staven geven de onzekerheidsmarges weer. Duidelijk is te zien dat de harkjes van Labour en de Conservatieven overlappen.
Je kunt alleen maar pogen de uitkomsten van de steekproef te vertalen naar de populatie van alle kiezers als de steekproef op een correcte manier is getrokken. Het zou bij voorkeur een aselecte steekproef moeten zijn. Dit lijkt helaas niet het geval te zijn bij de steekproef van NCP.
NCP geeft aan dat op twee verschillende manieren respondenten zijn gerekruteerd. In de eerste plaats zijn respondenten geselecteerd uit een aantal bestaande online panels die maar zelden voor politieke peilingen worden gebruikt. Daarmee hangt de representativiteit dus af van de representativiteit van deze panels.
De tweede manier om respondenten te selecteren was ‘river sampling’. Op allerlei websites word je via banners, advertenties, promoties, aanbiedingen uitgenodigd mee te doen aan onderzoek. Klik je op de link dan krijg je een paar screeningsvragen en wordt je op basis van je antwoorden doorgeleid naar een geschikte peiling.
Bij beide manieren van trekken van steekproeven moet je je ernstig afvragen of dit wel leidt tot een representatieve steekproef. NCP heeft wel een weging uitgevoerd. Er is weging uitgevoerd naar leeftijd, geslacht, opleiding, regio en stemintentie. Het is echter de vraag of deze weging wel voldoende is om alle problemen op te lossen.
Conclusie: wees voorzicht met de uitslagen van peilingen die via Twitter tot je komen. Controleer eerst hoe de peiling is uitgevoerd.
