PeilingPraktijken

En weer ging er iets mis met peilingen voorafgaand aan een referendum. Dit keer was het Colombia. De peilingen voorspelden dat een flinke meerderheid van de bevolking voor het vredesverdrag zou gaan stemmen. Maar de werkelijkheid was anders. Bij het referendum op 2 oktober 2016 bleek een nipte meerderheid (50,2%) tegen het verdrag. Hoe kan dat nou?

Was er misschien iets mis met de peilingen? Om dat uit te zoeken onderwerpen we de laatste peiling aan een nadere analyse. Die peiling werd op 21 t/m 25 september uitgevoerd door Ipsos Napoleón Franco in opdracht van het weekblad Semana en de TV-zender RCN. Uit het rechter cirkeldiagram hieronder blijkt dat in de peiling 66% voor het vredesverdrag was en 34% tegen.

De grafiek hieronder vergelijkt deze voorspelling met de werkelijke uitslag van het referendum. Er is een groot verschil. In de peiling is 66% voorstander van het vredesverdrag en in het referendum ligt het percentage voorstanders net onder de 50%. Dat is een verschil van 16 procentpunten.

Is er een verklaring voor dit grote verschil? Om daar iets over te kunnen zeggen, moet je weten hoe de peiling precies in elkaar zat. Gelukkig heeft het weekblad Semana een uitgebreide beschrijving op haar website gezet. Daar staat veel informatie in.

Met die informatie kun je aardig reconstrueren hoe de peiling in elkaar zat. De doelpopulatie bestond uit alle inwoners van 18 jaar en ouder. Dus alle sociaaleconomische groepen, en ook zowel mensen in de grote steden als op het platteland. De drie hoogste sociaaleconomische groepen in de grote steden werden telefonisch benaderd (als er voldoende telefoondekking was). Voor de overige groepen werd face-to-face geïnterviewd.

Er werd een gestratificeerde aselecte tweetrapssteekproef getrokken. Eerst werden gemeenten geloot, en vervolgens binnen gemeenten personen.

Helaas is er geen informatie over de omvang van de non-respons. Als die groot is, dan kan dit tot fouten in de uitkomsten leiden. Er is wel gewogen om te corrigeren voor een eventueel gebrek aan representativiteit. Bij die weging werden de variabelen regio, sociaaleconomische groep, geslacht, leeftijd en opleidingsniveau gebruikt. Dat is dus een behoorlijk gedetailleerde weging.

De uiteindelijke steekproef bestond uit 1524 personen. Daarvan gaven 851 personen aan de intentie te hebben om te gaan stemmen. Dat zou neerkomen op een opkomstpercentage van 56%. Bij het referendum zelf was de opkomst echter maar 40%. Een stuk lager dus. Dit is een voorbeeld van een verschijnsel wat we wel vaker zien: stemmers zijn oververtegenwoordigd in peilingen, en niet stemmers zijn dus ondervertegenwoordigd.

Waarom was in het referendum het percentage voorstanders van het vredesverdrag veel lager dan in de peiling? Hier een paar mogelijke verklaringen:

• De peiling was niet representatief, bijvoorbeeld als gevolg van non-respons. Er zaten teveel voorstanders in de peiling. De weging was onvoldoende om hiervoor te corrigeren.
• Volgens sommige Colombiaanse deskundigen was er sprake van sociaalwenselijke antwoorden. In de peiling gaven respondenten het sociaalwenselijke antwoord (voor), maar in het referendum gaven ze hun echte mening (tegen).
• Tussen de laatste peiling en het referendum zat ruim een week. Misschien zijn veel mensen in die week wel van mening veranderd.

Zullen we er ooit achter komen wat er mis is gegaan in deze peiling? Vermoedelijk niet. Dat is jammer, want dit soort informatie kan helpen om peilingen beter te maken. Dit Colombiaanse voorbeeld laat immers weer eens zien hoe lastig het is om een goede peiling voor een referendum te houden.