PeilingPraktijken

Alles over goede en slechte peilingen.

2018

De peilers deden het redelijk in Beieren

Er was veel belangstelling voor de verkiezingen in de Duitse deelstaat Beieren. Volgens de landelijke peilingen ging het niet goed met de twee regeringspartijen CDU/CSU en de SDP. Zou die neergang zich ook voordoen in Beieren? En zou de rechts-populistische AfD daarvan kunnen profiteren? De Groenen leken het juist heel goed te doen in Beieren en konden wel eens de tweede partij worden. En de snelle opkomst van de AfD leek tot stilstand gekomen. Maar kloppen die peilingen wel? Een kleine analyse.

De scootmobielen vliegen uit de bocht

Op zaterdag 13 oktober 2018 had het consumentenprogramma Kassa van BNNVARA een item over ongelukken met scootmobielen. Het programma noemde de scootmobiel het gevaarlijkste vervoermiddel in Nederland. In het programma werden enkele grafieken vertoond. Daarbij was ook onderstaand lijndiagram. Die toont (onder anderen) het percentage scootmobieldoden in het totaal aantal verkeersdoden. Er lijkt sprake te zijn van een zorgelijk grote stijging van scootmobieldoden. De lijn in de grafiek stijgt immers snel. Klopt dit allemaal wel?

Hoe een online referendum over een kunstwerk toch anders afliep

Op het Raoul Wallenbergplein in Alphen a/d Rijn staat een kunstwerk. Het heet 'A Dark Limousine Exit' en is gemaakt door Ernst Hazenbroek. In de zomer van 2018 besloot het gemeentebestuur dat dit kunstwerk moest worden vervangen door een ander, meer markant kunstwerk dat de identiteit van de gemeente beter weerspiegelt. De gemeente wilde de inwoners laten beslissen wat er moest gebeuren. Daarvoor deed de gemeente een peiling onder de bevolking. Het leek wel wat op een online referendum. Ook de regionale editie van het dagblad AD voerde een peiling uit. Dat was een mooie gelegenheid om twee methoden van peilen met elkaar te vergelijken.

Is de AfD wel de tweede partij in Duitsland?

Op 21 september 2018 publiceerde de Duitse omroep ARD de resultaten van een opiniepeiling over de politieke stand van zaken in Duitsland. De NOS nam nog diezelfde dag het bericht over van de ARD. Beide omroepen concludeerden dat de rechts-populistische AfD (Alternative für Deutschland) nu de tweede partij in Duitsland is. De vraag is of je die conclusie kan trekken. Nou, dat is niet het geval.

Een flutpeiling van de NOS over de zomertijd

Het kabinet neemt binnenkort een besluit over de zomertijd. Minister Ollongren zegt daarbij rekening te houden met de wens van zoveel mogelijk Nederlanders. Hoe wordt die wens dan gemeten? De NOS besloot de wens van de Nederlanders te meten. Zowel op Twitter als Facebook verscheen op 14 september 2018 dezelfde 1-vraags peiling. De peiling is bijzonder slecht. Het is een flutpeiling. Hier nog even de feiten op een rij.

Misleidende grafiek van de VRT over de Zweedse verkiezingen

Op 9 september 2018 waren er parlementsverkiezingen in Zweden. Die verkiezingen trokken de aandacht van veel internationale media. De reden was dat de rechtse-populistische anti-immigratiepartij Sverigedemokraterna (Zweden Democraten) het heel goed deed in de verkiezingscampagne. Volgens sommige analisten zou die partij wel eens de grootste van het land kunnen worden. Ook de VRT, de Vlaamse openbare omroep, bracht de uitslag op haar nieuwswebsite VRT NWS. Helaas was de grafiek in dit item erg slecht. Lezers/kijkers konden daardoor vrij eenvoudig op het verkeerde been worden gezet.

De Zweedse peilers deden het goed

Op 9 september 2018 waren er parlementsverkiezingen in Zweden. Die verkiezingen trokken internationaal de aandacht omdat de rechtse-populistische anti-immigratiepartij Sverigedemokraterna (Zweden Democraten, SD) het heel goed deed in de verkiezingscampagne. Sommige analisten vreesden zelfs dat deze partij wel eens een kwart van de stemmen zou kunnen krijgen. Daarmee zou de partij wel eens de grootste van het land kunnen worden.

Een slechte peiling van de EU over het afschaffen van de zomer en wintertijd

Op 31 augustus 2018 kondigde voorzitter Claude Juncker van de Europese Commissie (EC) aan dat deze Commissie het systeem van zomer- en wintertijd wil afschaffen. Hij kwam met deze mededeling nadat uit een ‘raadpleging’ van de inwoners van de EU was gebleken dat een groot deel (84%) af wilde van het twee maal per jaar verzetten van de klok. De voorzitter van de EC zei tegen de Duitse omroep ZDF: ‘De mensen willen het, dus we gaan het doen’. De vraag is echter hoe betrouwbaar de uitkomsten van de raadpleging zijn. Geven die wel een goed (representatief) beeld van de mening van de inwoners van de EU? Nou, nee.

Een bizar slechte grafiek over de Eerste Kamer

Binnenkort verschijnt een nieuw Engelstalig boek over de Eerste Kamer, geschreven door de eigen medewerkers. Ze willen immers in het buitenland ook weten hoe de Nederlandse Senaat politiek is samengesteld. Als preview werd een infographic uit het boek verspreid. Ik zou dat gewoon een grafiek noemen. Helaas is het een bijzonder slechte grafiek.

Deze grafiek van de NOS zitten minstens vier fouten

Op 16 augustus 2018 zat in het NOS-journaal van 18.00 uur en 20.00 uur en in Nieuwsuur een item over de nieuwste vooruitzichten van het Centraal Planbureau (CPB). Een van die vooruitzichten was dat de werkloosheid zou blijven dalen. De NOS maakte daar een grafiek bij. Helaas was dat niet zo’n beste grafiek. Er zaten maar liefst vier belangrijke fouten in.

Ligt Labour wel voor op de Conservatieven?

Number Cruncher Politics (NCP) is een vrij nieuw onderzoeksbureau in het Verenigd Koninkrijk. Het pretendeert het anders te doen dan andere peilers. NCP gaat er prat op het Engelse peildrama in 2015 (alle peilers zaten er toen naast) te hebben voorspeld. Op 15 augustus 2018 kwam NCP met de uitkomsten een nieuwe politieke peiling. Volgens die peiling heeft Labour nu een voorsprong van twee procentpunten op de Conservatieven. Maar klopt die conclusie wel? Kun je de uitkomsten van de peiling zo maar vertalen in een landelijk beeld. Daarop valt nogal wat af te dingen.

De neergang van het FNV op een slechte manier in beeld gebracht

Op 20 juli 2018 verscheen in diverse kranten (waaronder De Telegraaf en het Leidsch Dagblad) een bericht over de situatie bij het FNV. Het zou niet goed gaan met deze vakbond. Er is sprake van een sterke afname van het aantal leden (“FNV stroomt leeg”) en van vergrijzing (de gemiddelde leeftijd van de leden wordt steeds hoger). Daardoor zou de vakbond steeds minder representatief zijn voor de werkende bevolking. In de artikelen in De Telegraaf en het Leidsch Dagblad werd ook een grafiek opgenomen die het probleem in beeld zou moeten brengen. Dit is een slechte grafiek die niet helpt bij het overbrengen van de boodschap in het bijbehorende artikel.

Past Nederland wel de vakantieplannen aan?

‘Nederland past de vakantieplannen aan door schitterend zomerweer’. Dit bericht stond op 31 juli 2018 op de website van de ANWB. Kennelijk was dit de uitkomst van een peiling die door de ANWB was uitgevoerd. De bewering in de kop van het bericht was wel heel verstrekkend. Hij suggereert dat alle Nederlanders hun vakantieplannen wijzigingen. Klopt die uitspraak wel? Kan je die conclusie inderdaad trekken uit de peiling? Nou, nee. Dat blijkt uit nader onderzoek.

Een erg foute grafiek in de NRC

Op vrijdag 15 juni 2018 stond er in de NRC een artikel over het beleid van de Europese Centrale Bank (ECB). Die gaat stoppen met de omstreden opkoop van staatsschuld. In het artikel was een grafiek opgenomen die het verloop van de koers van de euro ten opzichte van de dollar zou moeten weergeven. Dat was een erg slechte en suggestieve grafiek. Er werd gezondigd tegen zo ongeveer alle richtlijnen voor goede grafieken.

Hoe groot is het vertrouwen in de NOS eigenlijk?

Bijna 90% van de Nederlanders heeft vertrouwen in de NOS als publieke nieuwsorganisatie. Dat bleek uit een onderzoek dat door het Amerikaanse Pew Research Center in december 2017 in acht Europese landen is gehouden. De NOS scoort daarin erg hoog. Alleen de Zweden hebben meer vertrouwen in hun publieke nieuwsorganisatie (SVT). Een interessant onderzoek. Maar kloppen de uitkomsten wel?

Een niet-representatieve peiling, maar toch uitgebreid verslag van de NOS

Op 6 juni 2018 deed de NOS uitgebreid verslag (op radio, tv en website) van een enquête van het tijdschrift Medisch Contact. Uit die peiling zou blijken dat seksuele intimidatie gemeengoed is in de medische wereld. Dit is een belangrijk en actueel onderwerp. Daarom is het van vitaal belang dat de peiling goed is uitgevoerd. Helaas, dit is niet het geval. Het onderzoek rammelt. Ook de NOS constateert dit. Maar toch worden de uitkomsten vervolgens uitgebreid besproken alsof ze een goed beeld geven. Je zou toch denken dat je zo’n slecht uitgevoerd onderzoek moet negeren.

Dit cirkeldiagram van de NOS sticht verwarring

De vorming van de coalitie voor de gemeente Rotterdam verloopt moeizaam. Na diverse pogingen meldt het NOS Journaal op maandag 4 juni 2018 dat nu zes partijen gaan proberen samen een coalitie te vormen. Dat zijn VVD, D66, GroenLinks, PvdA, CDA en ChristenUnie-SGP. De grootste partij, Leefbaar Rotterdam, valt daarmee buiten de boot. De NOS probeert de situatie in beeld te brengen met een grafiek. Helaas is dit een slecht uitgevoerd cirkeldiagram.

Adobe zet grafieken in beweging, maar vliegt daarbij uit de bocht

‘Set your stats in motion’. Daarmee maakt de softwareontwikkelaar Adobe reclame voor het maken van ‘animated infographics’ met ‘Motion Graphics templates’. Daarmee kun je beweging toevoegen aan, bijvoorbeeld, 3D-staafdiagrammen en cirkeldiagrammen. Bij een dergelijke aankondiging moeten de alarmbellen wel gaan rinkelen. Je kunt je immers afvragen of al deze toeters en bellen leiden tot betere statistieken. Nou, nee.

Het Parool misleidt lezers bij peiling over nieuwe burgemeester van Amsterdam

Voormalig PvdA-leider Wouter Bos moet de nieuwe burgemeester van Amsterdam worden. Dat was de kop van een artikel in Het Parool op 28 april 2018. Die conclusie trok de krant uit een peiling die in opdracht van de krant was uitgevoerd. Helaas zat Het Parool er volledig naast. En wat nog erger was, diverse andere media (zoals de NOS, het AD, AT5 en TPO) namen het bericht klakkeloos over. Daardoor werden de lezers volledig op het verkeerde been gezet.

Deze biergrafiek van de NOS ziet de verhoudingen niet zo scherp

Op 19 april 2018 had het NOS-Journaal van 20:00 uur een item over de consumptie van alcoholvrij bier. De boodschap was dat die consumptie behoorlijk is toegenomen. Om dit te illustreren toonde het Journaal een grafiek. Helaas was dit niet zo’n goede grafiek. Bij de constructie ervan was een veel voorkomende fout gemaakt.

Is het een grafiek of een stapel suikerklontjes?

Op 16 april 2018 had het NOS-journaal van 20:00 uur een item over de suikerconsumptie in Nederland. Aanleiding was de invoering van een suikertax in het Verenigd Koninkrijk. Dit lijkt een succes te zijn, want veel frisdrankproducenten hebben het suikergehalte in hun drankjes ijlings verminderd. Presentatrice Annechien Steenhuizen vergeleek de suikercompositie in Nederland met die in andere landen. Dat deed ze aan de hand van een grafiek. Of was het geen grafiek?

Hoe breng je het referendum goed in beeld?

Op 21 maart 2018 waren er gemeenteraadsverkiezingen. Tegelijk daarmee was er ook een referendum over de nieuwe Wet op de inlichtingen- en veiligheidsdiensten. De toch wel wat verrassende uitslag was dat een meerderheid van 49,4 procent tegen de nieuwe wet was en een minderheid van 46,6 procent voor. Diverse media gebruikten grafieken om die uitslag in beeld te brengen. Soms deden deze dat in de vorm van een thematische kaart, zoals die van LocalFocus. Voor elke gemeente is aangegeven of die in meerderheid voor (blauw) of tegen (rood) de wet was. Dit is echter niet de beste manier om een goed beeld van de uitslag te krijgen.

Nijmegen in de race naar slechtste grafiek ooit

Op 21 maart 2018 waren er gemeenteraadsverkiezingen. De leidde tot een stroom van grafieken in de media. En al die grafieken poogden op een of andere manier verkiezingsuitslagen weergegeven. Sommige grafieken zaten goed in elkaar. Daarom gaven ze en goed en helder beeld van de verkiezingsuitslag. Maar er zaten ook wel heel slechte grafieken tussen. Die zetten de gebruiker alleen maar op het verkeerde been. De grafiek van de Gemeente Nijmegen die een dag na de verkiezingen via Twitter langs kwam, spant misschien wel de kroon. Bijna elke denkbare fout kon je daarin aantreffen.

Wie is er niet online?

Het aantal online peilingen neemt steeds verder toe. De bekende onderzoeksbureaus in Nederland doen vrijwel al hun peilingen online. In het Verenigd Koninkrijk zijn de peilingen deels online en deels telefonisch. En ook in de Verenigde Staten zie je een mix van online en telefonisch. Voor een valide internet peiling moet de bevolking met internet een goede afspiegeling zijn van de hele bevolking. En daarbij helpt het als de internetdekking (het percentage mensen met internet) hoog is. Is dat zo?

Een ‘fake graph’ in De Morgen

Jonge gezinnen ontvluchten de stad. Dat was de kop van een artikel in de Belgische krant De Morgen op 12 maart 2018. Deze ontwikkeling werd geïllustreerd met een grafiek van het verloop door de Jaren heeft van het aantal Jonge gezinnen in de stad Antwerpen. Helaas ging het weer mis met onderstaande grafiek, waardoor de lezers een verkeerd beeld krijgen van deze ontwikkeling.

Noord-Koreaanse toestanden in Sittard-Geleen

Ruim 90 procent van de mensen die de enquête van ‘Burgers Eigen Baas’ hebben ingevuld, is ontevreden over de wijze waarop fusiegemeente Sittard-Geleen wordt bestuurd. Met dit bericht kwam het dagblad De Limburger op 27 februari 2018. Je zou zeggen dat deze uitkomst overduidelijk is. Het zijn bijna Noord-Koreaanse cijfers. Bij nadere beschouwing is er echter toch wel ruimte voor twijfel. Kun je de uitkomsten van deze peiling wel generaliseren naar de hele bevolking? Nou nee.

Een flutpeiling van het AD over zomer/wintertijd

‘Duidelijke steun voor afschaffen zomer/wintertijd nu op peiling van @ADnl !’ Dat was de reactie van Europarlementariër Annie Schreijer-Pierik op de uitkomst van een peiling in het AD op 8 februari 2018. Zij wil de zomer/wintertijd graag afschaffen en ze zal dus blij geweest zijn met de 62% voorstanders van afschaffen van de zomer/wintertijd. De vraag is echter wat deze peiling waard is. Helaas niet veel. Het is een flutpeiling.

Een flutpeiling van de gemeente Alphen a/d Rijn

De gemeente Alphen aan den Rijn wil graag weten wat de inwoners van haar informatiebronnen vinden. Daarom laat de gemeente een onderzoek uitvoeren naar de bekendheid en het gebruik van de gemeentelijke informatievoorziening. Met de resultaten van het onderzoek wil de gemeente de informatievoorziening verbeteren en de website www.alphenaandenrijn.nl vernieuwen. Aldus de aankondiging van een peiling onder de inwoners. Helaas rammelt deze peiling aan alle kanten, de peiling is niet representatief en de vragenlijst laat te wensen over.

Twitter-peilingen zijn flutpeilingen

Een goede peiling is een peiling waarbij je respondenten selecteert met behulp van een aselecte steekproef. Dat is niet zo eenvoudig. Daarom worden vaak alternatieve technieken toegepast. Die leveren wel data op, maar die zijn niet noodzakelijk representatief. Een goed voorbeeld van zo’n niet representatieve peiling is een Twitter-peiling. Daarbij gebruik je gegevens die via Twitter zijn verzameld. Denk maar eens aan de éénvraags peilingen die je vaak tegenkomt op de websites van de media. Die zijn verre van representatief. Matt Singh van Number Cruncher Politics toont met een voorbeeld nog eens aan hoe ver een Twitter-peiling ernaast kan zitten.

Een grafiek in de Daily Mail: manipulatie of luiheid?

Op 22 februari 2017 publiceerde de Engelse krant Daily Mail een artikel over de ontwikkeling van de economie in het Verenigd Koninkrijk. Het artikel bevatte onderstaande grafiek met het voorlopige en het definitieve groeicijfer van het GDP (Gross Domestic Product). Het definitieve groeicijfer (0,7) is hoger dan het voorlopige cijfer (0,6). Volgens de Daily Mail worden hiermee de aanvankelijk sombere voorspellingen van de economen gelogenstraft. En de krant zag het als een steuntje in de rug voor de pro-Brexit regering. Er is echter wel wat mis met deze grafiek.

NOS-publieksonderzoek: schieten met een niet goed afgesteld kanon op een mug

Op 21 maart 2018 zijn er gemeenteraadsverkiezingen. En dus peilen de media alvast wat er leeft onder de kiezers. Op 7 januari 2018 startte ook de NOS met een peiling. De NOS werkte samen met de regionale omroepen. Doel was te weten komen wat de kiesgerechtigden belangrijk vinden, en waar hun gemeente in hun ogen goed en slecht in is. Uiteraard krijgt de NOS zo veel informatie over wat er leeft bij de kiezers. Die informatie is vervolgens bruikbaar in allerlei reportages. Maar daarmee zijn de mogelijkheden van deze gegevens ook uitgeput. Men moet niet de fout maken te denken, dat dit een representatief onderzoek is. Dat is het niet.

Peiling over busvervoer in Woerden vliegt uit de bocht

Op 3 januari 2018 kwam de SP in de gemeente Woerden met een peiling over het openbaar vervoer in deze gemeente. De SP wilde daarmee meten of er behoefte is aan veranderingen in het busvervoer voor Woerden. Het is de vraag of deze peiling een goed beeld geeft van wat er leeft bij de inwoners van Woerden. De peiling zit namelijk nogal slecht in elkaar.