De Ierse peilers deden het ook niet zo goed
Ierland heeft op 22 mei 2015 gekozen voor de invoering van het homohuwelijk. Het was opmerkelijk dat in een land waarin de conservatieve katholieke kerk nog veel invloed heeft, ruim 62% van de inwoners toch voorstander bleek te zijn van het homohuwelijk. De peilingen leken al te wijzen op een meerderheid voor YES. Toch deden de peilers het niet heel goed bij het voorspellen van de uitslag. Dat blijkt uit een analyse.
Er waren diverse peilers actief tijdens de campagne. De vier belangrijkste waren RedC, Behaviour & Attitudes, Ipsos MRBI en MillwardBrown. De gegevens van deze organisaties staan in onderstaande tabel. Wat onmiddellijk opvalt is dat geen van de peilers het internet gebruikt. Misschien heeft dat te maken met de internet-dekking. In Ierland heeft maar ongeveer 82% van de huishoudens internet (bron: Eurostat).
| Peiler | Periode | Methode | Steekproef | % YES |
|---|---|---|---|---|
| RedC | 11-13 mei | Telefonisch | 1009 | 69 |
| Behaviour & Attitudes | 1-11 mei | Face-to-face | 927 | 63 |
| Ipsos MRBI | 13-14 mei | Face-to-face | 1200 | 58 |
| MillwardBrown | 2-15 mei | Face-to-face | 994 | 53 |
Bij de face-to-face peilingen is eerst een aselecte steekproef van gebieden getrokken. Vervolgens is in elk geselecteerd gebied een quotasteekproef getrokken. Interviewers moesten personen in de juiste aantallen (quota) selecteren. Die quota zijn gevormd op basis van geslacht, leeftijd en sociaaleconomische status. Er was binnen deze gebieden dus geen sprake van een aselecte steekproef maar van de subjectieve keuze van de interviewers. Je kunt je afvragen of dit mogelijk de validiteit van de schattingen heeft beïnvloed. Er zijn wel voorbeelden waarin het misging. Bekend is de peiling van George Gallup bij de Amerikaanse presidentsverkiezingen van 1948. Hij voorspelde toen dat Thomas Dewey de nieuwe president zou worden, maar het werd overduidelijk Harry Truman.
Bij de telefonische peiling is Random Digit Dialing toegepast. Met de computer zijn willekeurige telefoonnummers gegenereerd. De ene helft van de nummers bestond uit vaste nummers en de andere helft uit mobiele nummers. Die nummers zijn gebeld. Zo werden ook personen bereikt die niet in het telefoonboek stonden.
Ook hier waren de peilers weer weinig transparant. Het was moeilijk om informatie te vinden over de toegepaste methoden. Zo meldt geen enkele peiler iets over de omvang van de non-respons in de peilingen. Die non-respons zal er zeker zijn geweest. En hoe groter het percentage non-respons is, des te ernstiger kunnen de schattingen afwijken. In de VS lijkt de non-respons in telefonische peilingen een steeds groter probleem te worden. De respons is vaak gekelderd tot onder de 20%. Het is daarom belangrijk ook bij de Ierse peilingen de responspercentages te vermelden.
Hoe goed waren de schattingen van de Ierse peilers? Hebben ze het net zo slecht gedaan als de Engelse peilers bij de verkiezingen in Engeland op 7 mei 2015? Toen zaten de peilers er zo ver naast dat je rustig kon spreken was van een debacle. In de grafiek hieronder staan de voorspellingen die de vier Ierse peilers ongeveer een week van te voren deden.
De verticale blauw lijn geeft de werkelijke uitslag aan (62,1% is voorstander van het homohuwelijk). De rode bolletjes zijn de voorspellingen van de peilers. En de rode lijnen stellen de onzekerheidsmarges voor. Bij drie peilers lag de werkelijke uitslag niet binnen de marges. Je kunt dus concluderen dat deze peilers er naast zaten. Eén peiler (Behaviour & Attitudes) had een goede voorspelling.
Er zitten nogal wat verschillen in de voorspellingen van de peilers. Je kunt je afvragen wat daarvan de oorzaken kunnen zijn. Er zijn verschillende verklaringen denkbaar:
- Eén van de peilers deed het telefonisch en de andere drie deden het face-to-face,
- De peilers peilden in verschillende perioden. Zo peilde Ipsos MRBI slechts twee dagen en MillwardBrown 13 dagen.
- De drie face-to-face peilers gebruikten quotasteekproeven. Daarin zit een subjectief element. Interviewers van de ene peiler kunnen anders te werk gaan dan interviewers van de andere peiler.
- Het is onduidelijk wat het effect van non-respons was op de schattingen van de peilers.
Kortom, hoewel alle peilers wel een overwinning voor YES voorspelden, waren er toch nog grote verschillen tussen de percentages. Die varieerden van 53% tot 69%. Dit lijkt me voldoende reden om een poging te doen de methodologie van de peilingen verder te verbeteren.
