PeilingPraktijken

Alles over goede en slechte peilingen.

Weblog

Een erg foute grafiek in de NRC

Op vrijdag 15 juni 2018 stond er in de NRC een artikel over het beleid van de Europese Centrale Bank (ECB). Die gaat stoppen met de omstreden opkoop van staatsschuld. In het artikel was een grafiek opgenomen die het verloop van de koers van de euro ten opzichte van de dollar zou moeten weergeven. Dat was een erg slechte en suggestieve grafiek. Er werd gezondigd tegen zo ongeveer alle richtlijnen voor goede grafieken.

Hoe groot is het vertrouwen in de NOS eigenlijk?

Bijna 90% van de Nederlanders heeft vertrouwen in de NOS als publieke nieuwsorganisatie. Dat bleek uit een onderzoek dat door het Amerikaanse Pew Research Center in december 2017 in acht Europese landen is gehouden. De NOS scoort daarin erg hoog. Alleen de Zweden hebben meer vertrouwen in hun publieke nieuwsorganisatie (SVT). Een interessant onderzoek. Maar kloppen de uitkomsten wel?

Een niet-representatieve peiling, maar toch uitgebreid verslag van de NOS

Op 6 juni 2018 deed de NOS uitgebreid verslag (op radio, tv en website) van een enquête van het tijdschrift Medisch Contact. Uit die peiling zou blijken dat seksuele intimidatie gemeengoed is in de medische wereld. Dit is een belangrijk en actueel onderwerp. Daarom is het van vitaal belang dat de peiling goed is uitgevoerd. Helaas, dit is niet het geval. Het onderzoek rammelt. Ook de NOS constateert dit. Maar toch worden de uitkomsten vervolgens uitgebreid besproken alsof ze een goed beeld geven. Je zou toch denken dat je zo’n slecht uitgevoerd onderzoek moet negeren.

Dit cirkeldiagram van de NOS sticht verwarring

De vorming van de coalitie voor de gemeente Rotterdam verloopt moeizaam. Na diverse pogingen meldt het NOS Journaal op maandag 4 juni 2018 dat nu zes partijen gaan proberen samen een coalitie te vormen. Dat zijn VVD, D66, GroenLinks, PvdA, CDA en ChristenUnie-SGP. De grootste partij, Leefbaar Rotterdam, valt daarmee buiten de boot. De NOS probeert de situatie in beeld te brengen met een grafiek. Helaas is dit een slecht uitgevoerd cirkeldiagram.

Adobe zet grafieken in beweging, maar vliegt daarbij uit de bocht

‘Set your stats in motion’. Daarmee maakt de softwareontwikkelaar Adobe reclame voor het maken van ‘animated infographics’ met ‘Motion Graphics templates’. Daarmee kun je beweging toevoegen aan, bijvoorbeeld, 3D-staafdiagrammen en cirkeldiagrammen. Bij een dergelijke aankondiging moeten de alarmbellen wel gaan rinkelen. Je kunt je immers afvragen of al deze toeters en bellen leiden tot betere statistieken. Nou, nee.

Het Parool misleidt lezers bij peiling over nieuwe burgemeester van Amsterdam

Voormalig PvdA-leider Wouter Bos moet de nieuwe burgemeester van Amsterdam worden. Dat was de kop van een artikel in Het Parool op 28 april 2018. Die conclusie trok de krant uit een peiling die in opdracht van de krant was uitgevoerd. Helaas zat Het Parool er volledig naast. En wat nog erger was, diverse andere media (zoals de NOS, het AD, AT5 en TPO) namen het bericht klakkeloos over. Daardoor werden de lezers volledig op het verkeerde been gezet.

Deze biergrafiek van de NOS ziet de verhoudingen niet zo scherp

Op 19 april 2018 had het NOS-Journaal van 20:00 uur een item over de consumptie van alcoholvrij bier. De boodschap was dat die consumptie behoorlijk is toegenomen. Om dit te illustreren toonde het Journaal een grafiek. Helaas was dit niet zo’n goede grafiek. Bij de constructie ervan was een veel voorkomende fout gemaakt.

Is het een grafiek of een stapel suikerklontjes?

Op 16 april 2018 had het NOS-journaal van 20:00 uur een item over de suikerconsumptie in Nederland. Aanleiding was de invoering van een suikertax in het Verenigd Koninkrijk. Dit lijkt een succes te zijn, want veel frisdrankproducenten hebben het suikergehalte in hun drankjes ijlings verminderd. Presentatrice Annechien Steenhuizen vergeleek de suikercompositie in Nederland met die in andere landen. Dat deed ze aan de hand van een grafiek. Of was het geen grafiek?

Hoe breng je het referendum goed in beeld?

Op 21 maart 2018 waren er gemeenteraadsverkiezingen. Tegelijk daarmee was er ook een referendum over de nieuwe Wet op de inlichtingen- en veiligheidsdiensten. De toch wel wat verrassende uitslag was dat een meerderheid van 49,4 procent tegen de nieuwe wet was en een minderheid van 46,6 procent voor. Diverse media gebruikten grafieken om die uitslag in beeld te brengen. Soms deden deze dat in de vorm van een thematische kaart, zoals die van LocalFocus. Voor elke gemeente is aangegeven of die in meerderheid voor (blauw) of tegen (rood) de wet was. Dit is echter niet de beste manier om een goed beeld van de uitslag te krijgen.

Nijmegen in de race naar slechtste grafiek ooit

Op 21 maart 2018 waren er gemeenteraadsverkiezingen. De leidde tot een stroom van grafieken in de media. En al die grafieken poogden op een of andere manier verkiezingsuitslagen weergegeven. Sommige grafieken zaten goed in elkaar. Daarom gaven ze en goed en helder beeld van de verkiezingsuitslag. Maar er zaten ook wel heel slechte grafieken tussen. Die zetten de gebruiker alleen maar op het verkeerde been. De grafiek van de Gemeente Nijmegen die een dag na de verkiezingen via Twitter langs kwam, spant misschien wel de kroon. Bijna elke denkbare fout kon je daarin aantreffen.

Wie is er niet online?

Het aantal online peilingen neemt steeds verder toe. De bekende onderzoeksbureaus in Nederland doen vrijwel al hun peilingen online. In het Verenigd Koninkrijk zijn de peilingen deels online en deels telefonisch. En ook in de Verenigde Staten zie je een mix van online en telefonisch. Voor een valide internet peiling moet de bevolking met internet een goede afspiegeling zijn van de hele bevolking. En daarbij helpt het als de internetdekking (het percentage mensen met internet) hoog is. Is dat zo?

Een ‘fake graph’ in De Morgen

Jonge gezinnen ontvluchten de stad. Dat was de kop van een artikel in de Belgische krant De Morgen op 12 maart 2018. Deze ontwikkeling werd geïllustreerd met een grafiek van het verloop door de Jaren heeft van het aantal Jonge gezinnen in de stad Antwerpen. Helaas ging het weer mis met onderstaande grafiek, waardoor de lezers een verkeerd beeld krijgen van deze ontwikkeling.

Noord-Koreaanse toestanden in Sittard-Geleen

Ruim 90 procent van de mensen die de enquête van ‘Burgers Eigen Baas’ hebben ingevuld, is ontevreden over de wijze waarop fusiegemeente Sittard-Geleen wordt bestuurd. Met dit bericht kwam het dagblad De Limburger op 27 februari 2018. Je zou zeggen dat deze uitkomst overduidelijk is. Het zijn bijna Noord-Koreaanse cijfers. Bij nadere beschouwing is er echter toch wel ruimte voor twijfel. Kun je de uitkomsten van deze peiling wel generaliseren naar de hele bevolking? Nou nee.

Een flutpeiling van het AD over zomer/wintertijd

‘Duidelijke steun voor afschaffen zomer/wintertijd nu op peiling van @ADnl !’ Dat was de reactie van Europarlementariër Annie Schreijer-Pierik op de uitkomst van een peiling in het AD op 8 februari 2018. Zij wil de zomer/wintertijd graag afschaffen en ze zal dus blij geweest zijn met de 62% voorstanders van afschaffen van de zomer/wintertijd. De vraag is echter wat deze peiling waard is. Helaas niet veel. Het is een flutpeiling.

Een flutpeiling van de gemeente Alphen a/d Rijn

De gemeente Alphen aan den Rijn wil graag weten wat de inwoners van haar informatiebronnen vinden. Daarom laat de gemeente een onderzoek uitvoeren naar de bekendheid en het gebruik van de gemeentelijke informatievoorziening. Met de resultaten van het onderzoek wil de gemeente de informatievoorziening verbeteren en de website www.alphenaandenrijn.nl vernieuwen. Aldus de aankondiging van een peiling onder de inwoners. Helaas rammelt deze peiling aan alle kanten, de peiling is niet representatief en de vragenlijst laat te wensen over.

Twitter-peilingen zijn flutpeilingen

Een goede peiling is een peiling waarbij je respondenten selecteert met behulp van een aselecte steekproef. Dat is niet zo eenvoudig. Daarom worden vaak alternatieve technieken toegepast. Die leveren wel data op, maar die zijn niet noodzakelijk representatief. Een goed voorbeeld van zo’n niet representatieve peiling is een Twitter-peiling. Daarbij gebruik je gegevens die via Twitter zijn verzameld. Denk maar eens aan de éénvraags peilingen die je vaak tegenkomt op de websites van de media. Die zijn verre van representatief. Matt Singh van Number Cruncher Politics toont met een voorbeeld nog eens aan hoe ver een Twitter-peiling ernaast kan zitten.

Een grafiek in de Daily Mail: manipulatie of luiheid?

Op 22 februari 2017 publiceerde de Engelse krant Daily Mail een artikel over de ontwikkeling van de economie in het Verenigd Koninkrijk. Het artikel bevatte onderstaande grafiek met het voorlopige en het definitieve groeicijfer van het GDP (Gross Domestic Product). Het definitieve groeicijfer (0,7) is hoger dan het voorlopige cijfer (0,6). Volgens de Daily Mail worden hiermee de aanvankelijk sombere voorspellingen van de economen gelogenstraft. En de krant zag het als een steuntje in de rug voor de pro-Brexit regering. Er is echter wel wat mis met deze grafiek.

NOS-publieksonderzoek: schieten met een niet goed afgesteld kanon op een mug

Op 21 maart 2018 zijn er gemeenteraadsverkiezingen. En dus peilen de media alvast wat er leeft onder de kiezers. Op 7 januari 2018 startte ook de NOS met een peiling. De NOS werkte samen met de regionale omroepen. Doel was te weten komen wat de kiesgerechtigden belangrijk vinden, en waar hun gemeente in hun ogen goed en slecht in is. Uiteraard krijgt de NOS zo veel informatie over wat er leeft bij de kiezers. Die informatie is vervolgens bruikbaar in allerlei reportages. Maar daarmee zijn de mogelijkheden van deze gegevens ook uitgeput. Men moet niet de fout maken te denken, dat dit een representatief onderzoek is. Dat is het niet.

Peiling over busvervoer in Woerden vliegt uit de bocht

Op 3 januari 2018 kwam de SP in de gemeente Woerden met een peiling over het openbaar vervoer in deze gemeente. De SP wilde daarmee meten of er behoefte is aan veranderingen in het busvervoer voor Woerden. Het is de vraag of deze peiling een goed beeld geeft van wat er leeft bij de inwoners van Woerden. De peiling zit namelijk nogal slecht in elkaar.

De robopolls zaten er naast bij de verkiezingen in Alabama

Een harde verkiezingsstrijd met een verrassende uitslag. Zo kun je de Senaatsverkiezing in de Amerikaanse staat Alabama wel kenschetsen. De Democratische kandidaat Doug Jones versloeg de Republikein Roy Moore. Moore was omstreden na beschuldigingen van het aanranden van tienermeisjes. Zagen de peilingen deze uitslag aankomen?