Over peilen in Duitsland: de Sonntagsfrage zur Bundestagswähl

Er zijn in Duitsland pas weer verkiezingen in 2025, maar nu wordt er al volop gepeild. En velen maken zich zorgen over de ontwikkelingen ten aanzien van de rechts-populistische partij Alternative für Deutschland (AfD). In de peilingen groeit deze partij behoorlijk. In recente peilingen is de AfD zelfs de tweede partij, en is daarmee groter dan de sociaaldemocratische SPD van bondskanselier Olaf Scholz.

Je kunt je afvragen in hoeverre de peilingen een goed beeld geven van de ontwikkelingen. Om te beginnen hebben peilingen ver voor de verkiezingen weinig of geen voorspellende kracht. Er kan immers nog van alles gebeuren. Verder kun je je afvragen hoe goed al die peilingen zijn. Zijn die peilingen wel methodologisch verantwoord?

We bekijken een van die peilingen wat nauwkeuriger. Dat is een peiling uit de reeks “Sonntagsfrage”. Dat is een peiling die eens per maand vraagt wat men zou stemmen als er komende zondag verkiezingen zouden zijn (“Wenn am nächsten Sonntag Bundestagswahl wäre …”).  We onderzoeken de peiling van het Institut für Demoskopie Allensbach. Dat instituut heeft op 22 december 2023 in opdracht van Frankfurter Allgemeine Zeitung een peiling gedaan. De resultaten zijn verspreid via X (Twitter). De grafiek in figuur 1 hieronder toont de uitkomsten.

Figuur 1. De grafiek van de peiling van Allensbach voor de peiling van 21 december 2023.

Uit de grafiek blijkt inderdaad dat de rechts-populistische AfD de tweede partij is met 18% van de stemmen. De christendemocratische CDU/CSU-combinatie is verreweg de grootste partij met 34% van de stemmen. De sociaaldemocratische SPD lijkt met slechts 17% weg te zakken.

Hoe hard zijn deze cijfers? Daar kun je pas iets meer over zeggen als duidelijk is hoe de peiling methodologisch is opgezet en uitgevoerd. Uit schaarse beschikbare informatie kunnen we een aantal zaken afleiden. Opvallend is dat het hier niet gaat om een online peiling of een telefonische peiling, maar om een face-to-face peiling, waarbij interviewers bij respondenten langs gaan en papieren vragenlijsten invullen. In Nederland kom je dit soort face-to-face peilingen niet tegen. Alle peilingen gaan hier online.

Helaas hanteert Allensbach een systeem van quota-steekproeven. De interviewers werken alleen in hun eigen regio. Ze moeten respondenten werven en daarmee quota vullen. Die quota zijn gevormd op basis van o.a. geslacht, leeftijd en beroepsgroep. De aantallen respondenten per quotum krijgen ze op van de Allensbach. Als een persoon weigert mee te doen, of niet thuis is, dan probeert de interviewer een ander adres. Interviewers gaan door tot de quota gevuld zijn. Zo lijkt het dus of er geen non-respons is, maar die is er uiteraard zeker wel.

De omvang van de steekproef van Allensbach was uiteindelijk 1013 personen. Dat is een goede omvang van de steekproef. Er werd geënquêteerd vanaf 1 tot 14 december 2023.

De grafiek in figuur 1 ziet er (vanuit methodologisch perspectief) redelijk goed uit, maar er valt zo hier en daar nog wel wat te verbeteren. De verbeterde versie staat in figuur 2. Om te beginnen zijn de staven gedraaid. In een staafdiagram met verticale staven is er vaak onvoldoende ruimte voor teksten bij de staven. Als je horizontale staven gebruikt, dan gaat dit een stuk beter.

Figuur 2. De verbeterde versie van de grafiek van Allensbach.

Om de interpretatie van de grafiek wat eenvoudiger te maken, zijn de staven geordend in oplopende grootte. Je kunt dan makkelijker zien welke partij groter is dan welke andere partij. Het is nu heel duidelijk dat de CDU/CSU de grootste partij is. Ook blijkt dat de AfD, SPD en de GRÜNEN dicht bij elkaar in de buurt liggen. Om het aflezen van de grafiek nog wat eenvoudiger te maken, is aan de onderkant een schaalverdeling toegevoegd (met percentages). Wat ook helpt bij het aflezen, zijn de verticale roosterlijnen. Merk op dat de staven verschillende kleuren hebben. Dat is niet per se noodzakelijk. Je kunt ook besluiten ze allemaal dezelfde kleur te geven. Bij deze Duitse peiling hebben de kleuren betekenis. Het zijn de eigen kleuren van de partijen (SPD-rood, GRÜNEN-groen, enz.). Dan zijn verschillende kleuren wel zinvol. Die kleuren helpen immers om snel partijen terug te vinden.

Foutbalken

Bij het bekijken van bovenstaande grafieken moet je wel te bedenken dat ze gebaseerd zijn op een steekproef van ruim 1000 respondenten. De percentages zijn daarom geen harde cijfers. Het zijn schattingen, en die hebben onzekerheidsmarges. Om niet een schijn van exactheid te suggereren die er niet is, kun je die onzekerheid maar beter zichtbaar maken in de grafiek. We laten drie manieren zien om dit te doen: foutbalken, betrouwbaarheidsdozen en een dotplot. We beginnen met foutbalken. Zie figuur 3 voor een voorbeeld.

Figuur 3. Aan het staafdiagram zijn foutbalken toegevoegd.

Aan de uiteindes van de staven zijn horizontale, zwarte lijnstukken getekend. Dat zijn de foutbalken (error bars). Een soort ‘harkjes’ dus. Die foutbalken zijn de betrouwbaarheidsintervallen. De lengte van de helft van een foutbalk is gelijk aan de onzekerheidsmarge. Je kunt dus concluderen dat met grote waarschijnlijkheid de werkelijke, de te schatten percentages, in deze intervallen liggen.

Als de foutbalken van twee categorieën elkaar deels of volledig overlappen, dan moet je concluderen dat er geen significante verschillen zijn tussen de bijbehorende percentages. De verschillen zijn slechts veroorzaakt door de ruis van de steekproef. Het zijn artefacten. Zijn twee foutbalken duidelijk van elkaar gescheiden, dan is er sprake van echte verschillen tussen de categorieën.

In figuur 3 kun je zien dat de CDU/CSU significant veel groter is dan alle andere partijen. Verder kun je constateren dat drie partijen AfD, SPD en GRÜNEN niet echt van elkaar verschillen. Je kunt bijvoorbeeld niet concluderen dat de AfD de grootste partij is van de drie. Deze partij had net zo goed de vijfde partij kunnen zijn.

Betrouwbaarheidsdozen

Een tweede manier om de onzekerheid in een grafiek weer te geven is het gebruik van betrouwbaarheidsdozen. Een voorbeeld hier van is te zien in figuur 4. Je ziet eigenlijk alleen het betrouwbaarheidsinterval. Daarmee komt aandacht wat meer te liggen op de onzekerheid en minder op de schattingen van de percentages. Merk op dat die schattingen nergens te zien zijn. Het enige dat je kunt aflezen, zijn de onder- en bovengrenzen van de betrouwbaarheidsintervallen.

Figuur 4. De staven zijn vervangen door betrouwbaarheidsdozen.

De grafiek in figuur 4 is toch wel een heel inzichtelijke grafiek. Duidelijk is te zien dat er (voor wat betreft hun omvang) drie groepen partijen zijn: (1) een groep van vier kleine partijen (FDP, LINKE, FREIE WÄHLER en Sonstige), (2) een groep van drie middelgrote partijen (AfD, SPD en GRÜNEN), en (3) één grote partij (CDU/CSU). Een aardig voorbeeld van de deze manier van weergeven van de onzekerheid is de Peilingwijzer. De Peilingwijzer wordt door Tom Louwerse (van de Universiteit Leiden) gemaakt door de uitkomsten van de peilingen van I&O ResearchIpsos/EenVandaag en Kantar Public samen te voegen. De Peilingwijzer is dus zelf geen peiling, maar een soort gemiddelde van andere peilingen.

Dotplot

De grafieken die we tot nog toe hebben besproken, zijn gebaseerd op het staafdiagram. Maar we zouden ook nog kunnen overwegen om een heel ander type grafiek te gebruiken. Het is misschien wel een goed idee om eens naar een dotplot te kijken. De dotplot is al in 1984 voorgesteld door William Cleveland. Hij deed uitgebreid onderzoek naar de beste manieren om grafieken goed en simpel te kunnen interpreteren. Eén van zijn conclusies was dat een dotplot beter werkt dan een staafdiagram. Volgens Cleveland is de interpretatie van een dotplot vooral eenvoudiger als er veel categorieën zijn. Figuur 5 bevat een voorbeeld van een dotplot. Dezelfde gegevens over de Duitse peiling van Allensbach zijn weer gebruikt. Er is een (horizontale) stippellijn voor elk categorie (hier partij). De posities van de gekleurde cirkels geven de waardes in corresponderende categorieën weer. Hier zijn dat dus de percentages stemmen op de partijen.

Figuur 5. Een voorbeeld van een dotplot met onzekerheidsmarges.

De basisvorm van de dotplot bevat alleen de cirkels. Er staan geen waardes in de cirkels. In Figuur 5 zijn die waardes getekend in de cirkels. Dit lijkt voor de hand te liggen. Je krijgt zo  een beter idee van de middens van de betrouwbaarheidsintervallen. De dotplot is nog op een tweede manier aangepast. Dat is dat de betrouwbaarheidsintervallen zijn getekend. Dat zijn de horizontale, gekleurde lijnstukken. Merk op dat bij de vier kleine partijen geen betrouwbaarheidsintervallen te zien zijn. Dat komt omdat de lijnstukjes zo kort zijn dat de cirkels ze overlappen.

Ook hier overlappen de betrouwbaarheidsintervallen van de drie middelgrote partijen (AfD, SPD en GRÜNEN) elkaar weer. En dus is de conclusie dat er niets zinnigs valt te zeggen over welke partij de grootste van de drie is. Zoals de Amerikanen zeggen: Deze uitslag is ‘too close to call’. En dat is de enige conclusie die je kunt trekken.

Samenvattend kunnen we zeggen dat de beschreven verschillende soorten grafieken alle de onzekerheid in de uitkomsten kunnen weergeven. Ze hebben wel allemaal hun voor- en nadelen. De keuze zal afhangen van wat je precies met de grafiek wil laten zien.