PeilingPraktijken

‘Kijkers roepen Jesse Klaver uit tot winnaar Carré-debat’. Aldus de kop van een nieuwsbericht op de website van RTL Nieuws op 5 maart 2017. Meteen na afloop van het debat had RTL de meningen van de kijkers gepeild. Kennelijk kwam Jesse Klaver (GroenLinks) als winnaar uit die peiling. Dat was wel een erg snelle peiling. En het roept de vraag op of die peiling wel klopt.

Het bericht op de website van RTL Nieuws bevat maar weinig informatie. De peiling was uitgevoerd door DVJ Insights en er waren 582 respondenten. Dat is geen grote steekproef. Het bericht bevatte natuurlijk ook de scores voor de deelnemers aan het debat. Die staan hieronder.

Wat onmiddellijk opvalt zijn de kleine verschillende tussen de deelnemers aan het debat. Tussen Jesse Klaver en Alexander Pechtold zit maar 0,7% en bij Alexander Pechtold en Mark Rutte is er een miniem verschil van 0,1%. Als je weet dat deze scores afkomstig zijn uit een kleine steekproef, dan moet je je wel afvragen of er echt verschillen zijn of dat het alleen maar de ruis van de steekproef is.

De peiler heeft verzuimd om onzekerheidsmarges te vermelden. Gelukkig kun je die alsnog uitrekenen met de beschikbare informatie. En dan kun je onderstaande grafiek maken.

De blauwe ballen geven de percentages aan en de blauwe lijnstukken de onzekerheidsmarges. Het is duidelijk dat die marges elkaar behoorlijk overlappen bij de bovenste vier lijsttrekker. En dus mag je niet de conclusie trekken dat hun scores verschillen. En dus mag je niet concluderen dat Jesse Klaver de winnaar is.

Een ander aspect van deze peiling is de vraag of hij wel representatief is. Hij is uitgevoerd DVJ Insights. Deze peiler heeft de beschikking over een web-panel. In 2015 zaten daar 65.000 personen in. Dit panel is gevuld via wervingsacties op sociale media, met leden die vrienden of kennissen werven en met mensen die zich aanmelden via de website. Dit lijkt in de verste verte niet op een aselecte steekproef. Er is dus geen enkel garantie dat dit panel representatief is. En dus is een steekproef uit het panel ook niet representatief.

Je zou nog kunnen proberen dit gebrek aan representativiteit te repareren door de uitkomsten te wegen. Daarvoor heb je variabelen nodig die bekend zijn voor de populatie van alle kijkers naar het debat. Zulke variabelen zullen niet beschikbaar zijn. En dus kun je niet wegen.

De conclusie moet luiden dat dit een slechte peiling is. Je kunt niet vaststellen welke lijsttrekker volgens de kijkers het debat heeft gewonnen.

Vervolg

Na verloop van tijd werd het bericht van RTL Nieuws aangepast en kwam er wat meer informatie over de peiling beschikbaar:

• De omvang van de steekproef was nu 1183 in plaats van 582.
• Door die grotere steekproef worden de onzekerheidsmarges kleiner. Dit verandert echter niets aan de conclusie dat er geen verschillen zijn tussen de vier bovenste lijsttrekkers.
• Er is kennelijk gewogen, maar wel naar de Nederlands bevolking. Dit is de verkeerde populatie. Er had moeten worden gewogen naar de populatie van alle kijkers naar het debat.
• Er wordt niets gemeld over non-respons.
• Er wordt ook niet uitgelegd hoe het panel tot stand is gekomen.