Slechte peiling, slechte berichtgeving

Coalitie verliest de kiezers. Dat was de kop boven een artikel in de krant Alphen.cc van 28 september.

Alphen.cc is de Alphense editie van het regionale Leidsch Dagblad. Het artikel gaf de resultaten van een internetpeiling die door de krant zelf was opgezet en uitgevoerd. Op 1 januari 2014 fuseren de gemeenten Alphen a/d Rijn, Boskoop en Rijnwoude. Daarom zijn er op 13 november 2013 vervroegde gemeenteraads-verkiezingen. De peiling deed een poging de politieke situatie in kaart te brengen. Hoe moet je deze peiling en de berichtgeving erover nu op juiste waarde schatten? Moet je er veel waarde aan hechten, of moet je deze peiling maar zo zou gauw mogelijk vergeten?

De peiling van Alphen.cc was een internetpeiling. Een dergelijke peiling kun je op een goede of een verkeerde manier uitvoeren. De goede is dat je een steekproef loot uit de groep van alle kiezers. De verkeerde manier is dat je de peiling maar gewoon op het internet zet, waarna iedereen die daar zin in heeft de vragenlijst kan invullen. Zelfselectie noemen we dat. Dan kunnen ook mensen van buiten de doelgroep meedoen (bijvoorbeeld mensen uit Leiden), en soms kun je zelfs meer dan één keer de vragenlijst invullen. Bovendien kunnen bepaalde groepen, bijvoorbeeld aanhangers van een politieke partij, proberen de uitkomst van de peiling proberen te manipuleren. Dit leidt er allemaal toe dat de uitkomsten van de peiling niet representatief zijn, en er dus verkeerde conclusies worden getrokken. Helaas is bij de peiling van Alphen.cc gebruik gemaakt van zelfselectie.

Alphen.cc publiceerde de uitkomsten van de peiling op 28 september 2013. De informatie over de peiling was echter zo summier dat het vrijwel onmogelijk was om de conclusies op juiste waarde te kunnen schatten. Zo werd niet gemeld hoe groot de omvang van de steekproef was. En ook werden geen onzekerheidsmarges gegeven. Daarmee was het onmogelijk om vast te stellen of verschillen ‘echt’ zijn of veroorzaakt werden door ‘ruis’ in de steekproef.

Alphen.cc publiceerde de uitkomsten van de peiling in de vorm van twee cirkeldiagrammen. Die diagrammen correspondeerden met twee vragen in de peiling: wat men bij de vorige verkiezingen in 2010 had gestemd, en wat men nu wilde stemmen. De vormgeving van de cirkeldiagrammen voldeed niet aan de richtlijnen die daarvoor gelden. De cirkels bevatten teveel sectoren. Verder stonde er geen namen en geen percentages bij de sectoren. De legenda naast de diagrammen hielp ook niet echt. De verschillende kleuren verschilden soms amper van elkaar. Dit maakt het vrijwel onmogelijk de partijen met elkaar te vergelijken. Het samengesteld staafdiagram zou in deze situatie een stuk beter zijn geweest.

alphen-cc-550

Omdat was gevraagd wat men vorige keer had gestemd, was het mogelijk om na te gaan of het onderzoek representatief was met betrekking tot stemgedrag. De uitkomst van de vorige verkiezingen was immers bekend. Sterker nog, als de representativiteit zou zijn aangetast, had men hiervoor kunnen corrigeren door te wegen met stemgedrag. Helaas is dit niet gebeurd.