PeilingPraktijken

Op 7 november waren er verkiezingen voor een nieuw gouverneur in de Amerikaanse staat Virginia. Het was een mooie dag voor de Democraten, want de Democratische kandidaat Ralph Northam versloeg de Republikein Ed Gillespie. Het is gebruikelijk om verkiezingsuitslagen als deze in de vorm van een choropletische kaart weer te geven. Dat is een kaart die verdeeld is in geografische gebieden en elke gebied krijgt de kleur van de bijbehorende verkiezingsuitslag. Helaas geeft zo’n choropleet vaak een verkeerd beeld.

Alabama is al vele jaren lang een rechtse, conservatieve staat die dus Republikeins stemt. In 1992 koos de staat voor het laatst een Democratische afgevaardigde in de Senaat. En nu dus de Democraat Doug Jones. Ondanks de schandalen rondom de Republikein Roy Moore was dit toch wel onverwacht. De tabel hieronder bevat de uitkomsten van peilingen die in December zijn gedaan. De verschillen tussen de uitkomsten van de peilingen zijn erg groot. Zo voorspelt Fox News dat de Democratische kandidaat met een verschil van 10 procentpunten gaat winnen, terwijl Emerson denkt dat de Republikeinse kandidaat met een verschil van 9 procentpunten gaat winnen. Deze prognoses liggen wel heel erg ver uit elkaar.

Alle peilingen in de tabel zijn telefonische peilingen. De steekproeven zijn verkregen via Random Digital Dialing (RDD). De steekproeven zijn verkregen door het genereren van willekeurige telefoonnummers met de computer. Vier van de zes peilingen zijn robopolls. Een robopoll is een volledig automatische telefonische peiling. De computer genereert automatisch telefoonnummers en handelt vervolgens automatisch de gesprekken af zonder dat er interviewers aan te pas komen. Een robopoll is een goedkope manier om heel veel belpogingen te doen. Daarbij treedt heel veel non-respons. Het is dus nog maar de vraag of dit een representatieve steekproef oplevert. Zie ook: Is het einde van de Robopoll nabij?

Een ernstig probleem bij het gebruik van robopolls in de VS is een federale wet die het gebruik van robopolls verbiedt voor mobiele telefoons. In een robopoll kun je dus alleen maar mensen bellen met een vaste telefoon. Dat kan leiden tot vertekeningen in de uitkomsten van dit soort peilingen.

Volgens Nate Silver (van de website FiveThirtyEight) heeft iets meer dan de helft van de Amerikanen geen vaste telefoon. Verder zijn bezitters van een vaste telefoon gemiddelde ouder. En meer blanken dan zwarten hebben een vaste telefoon. Dit alles kan ertoe leiden dat Republikeinen zijn oververtegenwoordigd in robopolls. Zie ook: What The Hell Is Happening With These Alabama Polls?

In de grafiek hieronder zijn de uitkomsten van de zes peilingen in Alabama weergegeven in de vorm van een dot-plot. De dikke stippen geven de prognoses aan en de horizontale lijnstukken de onzekerheidsmarges. Bij de rode prognoses gaat het om robopolls en bij de blauwe om traditionele telefonische peilingen (met interviewers).

Ook in deze grafiek kun je weer zien hoe ver de prognoses verschillen. Opvallend is dat alle robobolls er systematisch en significant naast zitten. Ze voorspellen alle vier dat de Republikein Roy Moore gaat winnen. De peiling van Fox Nieuws geeft aan dat de Democraat Doug Jones met groot verschil (10 procentpunten) gaat winnen. Eigenlijk is er maar één goede peiling is en dat is die van Monmouth.

Deze beperkte analyse laat nog eens zien hoe voorzichtig je moet zijn met de uitkomsten van Robopolls. En meer in het algemeen moet je bedenken dat de respons in telefonische peilingen heel erg lag kan zijn. Die grote non-respons kan ook leiden tot vertekeningen.