Een rampzalige avond voor de Oostenrijkse peilers

Een ‘pretty disastrous night for the Austrian polling agencies’. Dat was de tweet van de Oostenrijkse onderzoeker Max Roser over de presidentsverkiezingen in Oostenrijk op 24 april 2016. Daarmee doelde hij op de voorspellingen die er helemaal naast zaten. De peilers voorspelden dat de groene kandidaat Alexander Van der Bellen de verkiezingen nipt zou winnen, maar uiteindelijk won de rechts-populistische kandidaat Norbert Hofer met grote overmacht.

Hieronder staat de tweet van Roser. De gekleurde lijnen in de grafiek geven de voorspellingen van de peilers aan voor de verschillende presidentskandidaten. Helemaal aan de rechterkant staat de verkiezingsuitslag. Vooral bij Hofer en Van der Bellen wijkt de verkiezingsuitslag erg af van de voorspellingen.

oostenrijk1

De tabel hieronder bevat de uitkomsten van de laatste peilingen en de werkelijke verkiezingsuitslag in wat meer detail. Het viel niet mee deze informatie bij elkaar te krijgen. De peilers zijn niet erg transparant.

oostenrijk2

Er zijn kennelijk niet heel veel peilingen geweest. In de laatste week waren het er maar drie. En een week daarvoor waren er ook maar drie peilingen. Na 18 april is er niet meer gepeild. Opmerkelijk is dat de steekproeven van de peilers maar klein zijn. Dat hoeft niet tot foute voorspellingen te leiden, maar de onzekerheidsmarges zijn natuurlijk wel aanzienlijk.

Heel erg opmerkelijk zijn de grote verschillen tussen de voorspellingen en de verkiezingsuitslag. In de peilingen lag Alexander Van der Bellen steeds een paar procent voor op Norbert Hofer, maar de verkiezingsuitslag laat een totaal ander beeld zien. Hofer krijgt maar liefst 16% meer dan Van der Bellen. De voorspellingen voor Hofer zitten er helemaal naast.

Wat kan er mis zijn gegaan in de peilingen. Daar kun je niet zoveel over zeggen zonder nader onderzoek. Hier zijn een paar mogelijke oorzaken:

  • De Oostenrijkers hebben in de peilingen niet durven toegeven dat ze op de rechts-populistische Hofer gingen stemmen. Bij de ‘echte’ verkiezingen deden ze dat toch. Bij het ‘UK Polling Disaster’ in 2015 is onderzocht of er sprake was van een dergelijk effect bij de Conservatieven. Er bleek echter geen sprake van een ‘Shy Tory Factor’.
  • Na 19 april is er iets gebeurd in Oostenrijk waardoor de kiezers van mening zijn veranderd. Daarvoor zijn echter geen aanwijzingen. Ook in het Verenigd Koninkrijk is onderzocht over er misschien sprake kon zijn van zo’n ‘late swing’. Daarvoor zijn geen aanwijzingen gevonden.
  • De steekproeven zijn niet een goede afspiegeling van alle potentiële kiezers. Ze zijn gewoon weg niet representatief. Dat bleek in Engeland de oorzaak van de problemen te zijn. Je kunt je afvragen of dit misschien ook het geval was in Oostenrijk.

De peilers geven vrijwel geen informatie over de methode van dataverzameling. Het lijkt er echter wel op dat het deels met online panels gaat en deels per telefoon. Dat was ook in Engeland het geval. De data voor de online peilingen kwamen uit online panels die via zelfselectie zijn gevuld. En in de telefonisch peilingen was er sprake van erg veel non-respons. Dat leverde geen representatieve steekproeven op. Correctietechnieken bleken niet effectief te zijn.

Concluderend lijkt er voor de Oostenrijkse peilers veel werk aan de winkel. Ze zullen moeten uitzoeken wat er nu werkelijk mis was. En volgende keer met beter voorspellingen komen.