PeilingPraktijken

Voormalig PvdA-leider Wouter Bos moet de nieuwe burgemeester van Amsterdam worden. Dat was de kop van een artikel in Het Parool op 28 april 2018. Die conclusie trok de krant uit een peiling die in opdracht van de krant was uitgevoerd. Helaas zat Het Parool er volledig naast. En wat nog erger was, diverse andere media (zoals de NOS, het AD, AT5 en TPO) namen het bericht klakkeloos over. Daardoor werden de lezers volledig op het verkeerde been gezet.

Het Parool heeft een peiling laten doen (door I&O Research), waarin de respondenten moesten aangeven wie ze het liefst als toekomstige burgemeester van Amsterdam zouden zien. Ze konden kiezen uit een lijstje met 13 kandidaten. De lijst was door Het Parool zelf opgesteld. Het was daardoor een volstrekt willekeurige lijst. Misschien waren er wel andere kandidaten die niet op de lijst stonden. En misschien stonden er wel personen in de lijst die helemaal geen kandidaat wilden zijn. Je kunt je ook afvragen in hoeverre de Amsterdammers alle namen op de lijst kennen.

De uitkomst van de peiling was volgens Het Parool dat voormalig PvdA-leider Wouter Bos de nieuwe burgemeester van Amsterdam moet worden. Als je echter de uitkomsten van de peiling nader bekijkt, dan blijkt dat je deze conclusie helemaal niet kunt trekken. Wouter Bos krijgt weliswaar het hoogste percentage stemmen (14,3%), maar twee andere kandidaten krijgen ongeveer hetzelfde percentage: Khadija Arib (13,5%) en Femke Halsema (13,4%). De uitkomsten van peilingen hebben altijd een onzekerheidsmarge. En omdat de omvang van deze peiling slechts 550 was, zijn er hier zelfs behoorlijke onzekerheidsmarges. Die marges zijn groter dan de verschillen tussen de top 3. Je kunt dus niet concluderen dat er verschillen zijn tussen Bos, Arib en Halsema. De conclusie van Het Parool is niet juist.

Om te voorkomen dat lezers op het verkeerde been worden gezet, had Het Parool er beter aan gedaan een grafiek als hieronder op te nemen in het artikel. Het is een staafdiagram met de percentages voor de door de krant gekozen 13 kandidaten. De ‘harkjes’ aan het eind van de staven geven de onzekerheidsmarges weer. Ze duiden het gebied aan waarin hoogstwaarschijnlijk het juiste percentage ligt. Het is dus niet zo dat 14,3% van de Amsterdammers vindt dat Wouter Bos de nieuwe burgemeester moet worden. De correcte conclusie is dat het werkelijke percentage hoogstwaarschijnlijk ligt tussen de 11,4% en 17,2% ligt. En uiteraard hebben de percentages voor Arib en Halsema ook marges.

In de grafiek hieronder is te zien dat de marges van Bos, Arib en Halsema elkaar vrijwel volledig overlappen. Daarom mag en kan je niet concluderen dat er verschillen zijn tussen deze drie kandidaten. Hetzelfde geldt overigens voor kandidaten 4 t/m 13. Ook voor deze reeks overlappen de onzekerheidsmarges. De volgorde van deze kandidaten hadden dus net zo goed een heel andere kunnen zijn.

De top 3 kandidaten krijgen maar lage percentages die niet echt van elkaar verschillen. Bovendien weten nog heel veel mensen het niet (22,8%). Er valt dus geen zinnige conclusie uit deze peiling. De conclusie van Het Parool is fout, tendentieus en sturend.

Ook andere deskundigen op het gebied van peilen zijn vernietigend in hun oordeel. Tom van der Meer (Universiteit van Amsterdam) geeft in een artikel op Stuk Rood Vlees een uitgebreid overzicht van wat er allemaal mis is. Volgens hem verkoopt Het Parool gebakken lucht. Het artikel in de krant is gebaseerd op drijfzand. Wat werd gepubliceerd was niet het geluid van de kiezer, maar bovenal het geluid van de foute keuzes van journalist en peiler.

Volgens Armen Hakhverdian (Universiteit van Amsterdam) blundert en misleid Het Parool. Hij vraagt zich af of er nou niemand bij het Parool werkt die wat basale eerstejaarsvakken in onderzoeksmethoden heeft gevolgd. Het is een wanvertoning. En Matthijs Rooduin (Universiteit van Amsterdam) concludeert dat Parool en I&O – en vervolgens ook de NOS, AD, en AT5 – en non-nieuws produceren dat zijn eigen werkelijkheid creëert.

De berichtgeving van Het Parool is dus beneden alle peil. Het is ook treurig dat andere media dit klakkeloos overnemen. Het Parool doet ook geen enkele poging om de lezers inzicht te geven in opzet, uitvoering en conclusies van de peiling. Een simpele link naar het onderzoeksverslag van I&O Research zou al behoorlijk hebben geholpen, ook al vermeldt dit rapport geen onzekerheidsmarges. Wel is het rapport de constatering te vinden dat de percentages van de top 3 niet significant verschillen. Kennelijk heeft de krant een heel andere conclusie getrokken. Treurnis.