Hoe deden de Duitse peilers het?

In Duitsland zijn op 22 september 2013 parlementsverkiezingen gehouden. Ongeveer 62 miljoen kiezers konden naar de stembus gaan om een nieuwe Bondsdag te kiezen.

De verkiezingscampagne was niet echt spannend. In alle peilingen lag de CDU/CSU van bondskanselier Angela Merkel een straatlengte voor op de sociaal-democratische SPD van Peer Steinbrück.Tijdens de verkiezingscampagne waren er heel wat peilers actief. Hoe deden die het in vergelijking met de Nederlandse peilers in september 2012? Een poging tot een vergelijking.

merkel

Tijdens de verkiezingscampagne is veel gepeild door diverse organisaties. Daarbij moet wel worden opgemerkt dat de peilfrequentie wat lager ligt dan in Nederland. De tabel hieronder bevat de laatste peilingen van zeven verschillende organisaties.

Uit de data van de laatste peilingen valt af te lezen dat deze peilers niet elke dag peilen. De steekproeven zijn ongeveer even groot als in Nederland. De omvang varieert tussen de 1000 en 2200.

In Nederland maken alle grote peilers (Ipsos, GfK Intomart, TNS NIPO en Maurice de Hond) gebruik van webpanels. In sommige gevallen wordt geen aselecte steekproef getrokken, maar is het panel gevuld met personen die zich daarvoor zelf hebben aangemeld. Dat wordt zelfselectie genoemd. Dat kan de representativiteit van de uitkomsten ernstig aantasten, en dus tot verkeerde conclusies leiden.

duitse-verkiezingen

In Duitsland gaat het heel anders. Vijf van de zeven peilers in de tabel doen de gegevensverzameling via de telefoon (CATI). Daarvoor worden telefoonnummers aselect geloot. Probleem daarbij is dat niet iedereen in het telefoonboek staat, en zeker niet de mensen met alleen maar een mobiele telefoon. Dit kan ook tot selectiviteit leiden. Sommige peilers loten alleen uit vaste nummers. Een enkele peiler (Infratest dimap) trekt een ‘dual frame’ steekproef. Daarbij worden zowel vaste als mobiele nummers geloot. Lastig is dat mensen met een vast en een mobiel nummer dan een grotere trekkingskans krijgen. Daarvoor moet worden gecorrigeerd.

Er is maar één peiler die gebruik maakt van het Internet: INSA. Die trekt een steekproef uit het YouGov Deutschland Panel. Daarin zitten ongeveer 100.000 leden. Opvallend is dat Allensbach gebruik maakt van CAPI. Daarbij bezoeken interviewers de mensen thuis en nemen met een laptop het interview af. CAPI is een degelijke maar dure en tijdrovende manier van gegevensverzameling. Deze aanpak maakt het onmogelijk om met hoge frequentie peilingen uit te voeren.

Je kunt je afvragen of het wat uitmaakt dat een interviewer je naar je politieke mening vraagt. Leidt dit niet tot sociaalwenselijke antwoorden? Er wordt wel beweerd dat respondenten eerlijker antwoorden als er geen interviewers bij zijn. Dat zou betekenen dat de antwoorden in online-peilingen beter zijn dan die van CAPI- en CATI-peilingen. Dit pleit voor de Nederlandse aanpak (online) en niet voor de Duitse (telefoon).

Er bestaan bij de peilers ook nog verschillen in de manier waarop de vraag naar de partijkeuze wordt gesteld. Zo worden bij Emnid eerste alle partijen door de interviewer opgelezen, waarna de respondent een keuze moet maken. Dit is dus een gesloten vraag. Infratest dimap en Forsa lezen de partijen niet op. Er wordt simpelweg gevraagd op welke partij men gaat stemmen. Een open vraag dus. Het stellen van de gesloten vraag zou kunnen leiden tot een recency effect. Daarbij hebben de respondenten een voorkeur voor een van de laatste genoemde antwoorden (omdat ze eerder genoemde mogelijke antwoorden al weer zijn vergeten). Bij een open vraag is het risico dat respondenten bepaalde partijen over het hoofd zien.

De tabel hieronder bevat de uitslag van de verkiezingen en de uitkomst van de laatste peilingen vlak voor de verkiezingsdag. Ondanks al die verschillen tussen de peilers, liggen de schattingen tot behoorlijk dicht bij elkaar. Kennelijk voorspellen ze allemaal ongeveer hetzelfde. Daarbij kan meespelen dat het politieke landschap in Duitsland behoorlijk stabiel is. Er zijn geen grote bewegingen waar te nemen. Het is allemaal nogal rustig, zo niet saai.

Om de voorspellingen met de werkelijke uitslag te kunnen vergelijken, is voor elke peiler het gemiddelde absolute verschil uitgerekend. Dan blijkt de voorspelling van Forsa het dichtste bij de uitslag te liggen (0,6), gevolgd door de CAPI-peiling van Allensbach (0,8). De web-peiling van INSA behoort met 1,1 tot de minder goede peilingen. Maar de slechtste peiling is die van Emnid (1,4). De verschillende CATI-peilingen laten een nogal divers patroon zien, van goed tot slecht. Een mogelijke verklaring van verschillen zou kunnen zijn het wel of niet oplezen van de partijen door de interviewer. Bij Forsa worden de namen van de partijen niet opgelezen en bij Emnid wel.

Zijn de Duitse peilingen beter dan de Nederlandse peilingen? Die vergelijking kunnen we niet maken door zetelverdelingen te gebruiken. De parlementaire systemen zijn daarvoor te verschillend in beide landen. We moeten daarvoor de zetelverdelingen in Nederland terugrekenen naar percentages. Dat kan alleen maar heel ruw vanwege allerlei afrondingen. Voor de verkiezingen van 12 september 2012 komen Maurice de Hond en de Politieke Barometer dan uit op 1,1 en voor TNS NIPO en GfK Intomart wordt het 1,5. Die waarden liggen in dezelfde orde van grootte. TNS NIPO en GfK Intomart doen het wel wat slechter dan de Duitse peilers. Verder doen Forsa (CATI) en Allensbach (CAPI) het beter dan alle Nederlandse peilers.

Bron van de gegevens van de peilers: www.wahlrecht.de