PeilingPraktijken

Het referendum over het samenwerkingsverdrag met Oekraïne is veranderd in een nek-aan-nek-race: het ja- en nee-kamp ontlopen elkaar nog maar 1%. Dat beweert D66 op 20 maart 2016 op de website van de partij. Dat is de conclusie van een peiling die in opdracht van D66 is uitgevoerd. De peiling was echter wel erg krakkemikkig en daarom kun je grote twijfels hebben over de uitkomsten ervan.

Er is veel discussie over het referendum over het samenwerkingsverdrag met de Oekraïne. Veel mensen weten nog niet of ze wel moeten gaan stemmen en of ze dan voor of tegen moeten stemmen. Het helpt als deze discussie wordt gevoed met betrouwbare informatie. En dus moeten peilingen ook betrouwbaar zijn en je niet op het verkeerde been zetten. Het is de vraag of deze peiling in opdracht van D66 betrouwbaar is.

Volgens het bericht op de website van D66 is de peiling uitgevoerd door Direct Research. De respons in de peiling was een schamele 294 personen. Verder kon je niets terugvinden over de opzet en uitvoering van deze peiling. Een e-mail naar D66 leverde gelukkig snel meer informatie op.

De belangrijkste vraag is hoe de steekproef is getrokken. Is er sprake van een aselecte steekproef uit alle potentiële stemmers? Is die steekproef een goede afspiegeling? D66 meldt:

Er is een aselecte steekproef getrokken uit het consumentenpanel van Direct Research conform de Gouden Standaard.

Er is dus wel een aselecte steekproef getrokken, maar hij is getrokken uit een web-panel van Direct Research. Daarom is de steekproef alleen maar representatief als dit panel representatief is. Dat is nog maar de vraag. Het lijkt er sterk op dat panel door zelfselectie tot stand is gekomen. Je kunt je immers zelf spontaan opgeven voor het panel. Daarmee zitten er vooral personen in het panel die het leuk vinden om aan dit soort onderzoek mee te doen (en er ook nog wat mee te verdienen). De ervaring heeft ondertussen wel geleerd dat dit soort panels niet representatief is.

De toevoeging dat de steekproef is getrokken volgens de Gouden Standaard ziet er indrukwekkend uit, maar betekent vermoedelijk niet meer dan dat er voor gezorgd is dat de verdeling naar geslacht, leeftijd en regio in de steekproef goed is. Helaas betekent dit niet automatisch dat de steekproef ook representatief is met betrekking tot belangrijke variabelen zoals stemgedrag.

Op de vraag aan D66 hoe hoog de respons in de peiling was, kwam het antwoord dat het percentage respons gelijk was aan 21%. Dat is toch wel bijzonder laag. En een lagere respons verhoogt het risico op substantiële vertekeningen in de uitkomsten. Het is toch wel merkwaardig dat die respons zo laag is. De steekproef is immers getrokken uit een panel dat bestaat uit mensen die aan peilingen willen meedoen. Waarom nu dan niet? Geen interesse in het onderwerp? Hoe dan ook, 21% respons betekent dat de uitkomsten zeer waarschijnlijk onjuist zijn.

In vrijwel elke peiling is er sprake van non-respons. Om iets aan de kwalijke gevolgen daarvan te doen, is het verstandig om een weging uit te voeren. Op de vraag aan D66 of, en hoe, is gewogen, was het antwoord:

Er is geen sprake van zelf selectie dus er is geen weging toegepast.

Dit antwoord is op twee manieren onjuist. In de eerste plaats is er wel sprake van zelfselectie. Zo is het panel tot stand gekomen. En bovendien ziet dit antwoord over het hoofd dat je ook moet wegen om voor non-respons te corrigeren. Kennelijk is er dus geen enkele poging gedaan om de uitkomsten van de peiling te corrigeren.

Op de vraag aan D66 of er ook nog onzekerheidsmarges zijn uitgerekend, is het wat onduidelijke antwoord:

Bij een steekproefmarge van 5% zijn we uitgegaan van een betrouwbaarheidsniveau van 90% en dus een minimale steekproefomvang van n=271.

Hiermee wordt bedoeld dat in 90 van 100 gevallen de uitkomst van zo’n peiling binnen een marge van 5 procentpunten ligt van het werkelijke percentage. Je loopt dus een risico van 10% dat het verschil met de werkelijkheid groter is dan de toch al ruime marge van 5 procentpunten.

Volgens de peiling van D66 is 35% VOOR of waarschijnlijk VOOR samenwerking en 36% is (waarschijnlijk) TEGEN. Die percentages liggen inderdaad vlakbij elkaar. Maar je moet natuurlijk wel rekening houden met de onzekerheidsmarges. Het is eerlijker om te zeggen dat tussen de 30% en 40% voor is, en tussen de 31% en 41% tegen. Er kan dus ook heel goed een behoorlijk verschil zijn tussen voorstanders en tegenstanders.

Overigens, weet u het nog? Bij de verkiezingen in Engeland van 7 mei 2015 was er bij alle peilers sprake van een nek-aan-nek race tussen de Conservatieven en Labour. En toch wonnen de Conservatieven met een ruime meerderheid. Zie het debacle van de Engelse peilingen.

En dan de opkomst. Als er iets lastig is bij een peiling, dan is dat wel het voorspellen van het opkomstpercentage. Dat komt omdat stemmers altijd oververtegenwoordigd zijn in een peiling, en niet-stemmers zijn dus altijd ondervertegenwoordigd.

Volgens de peiling van D66 gaat 69% zeker wel of waarschijnlijk wel stemmen. Dat is inderdaad een hoog percentage. Je zou hiervoor kunnen corrigeren door het uitvoeren van een weging. Maar helaas, er is bij deze peiling niet gewogen. We moeten dus concluderen dat de schattingen voor de opkomstpercentages waarschijnlijk te hoog zijn.

Naast de representativiteit van de steekproef, is het ook van belang de vraagstelling in deze peiling in de gaten te houden. De peiling vraagt de mening over ‘samenwerking met Oekraïne’. In de vraag staat niets over ‘verdragen’. Samenwerken met Oekraïne lijkt onschuldig. Wie kan daar nu tegen zijn? Het zou wel eens kunnen dat deze manier van vragen tot meer positieve antwoorden leidt.

Samenvattend moet de conclusie luiden dat deze peiling toch wel aan alle kanten rammelt. Het is daarom beter om geen aandacht te besteden aan de uitkomsten ervan.