PeilingPraktijken

Alles over goede en slechte peilingen.

2017

Hoeveel fouten kun je maken in een grafiek?

Op de website van Bloomberg (BloombergView) verscheen 22 november een grafiek waaruit je kan aflezen hoeveel mensen in de wereld door de jaren heen in extreme armoede leven. Volgens Bloomberg toont de grafiek hoe het aantal extreme arme mensen begint aft e nemen na het einde van het Kolonialisme. Er is toch wel heel veel mis met deze grafiek.

Het blijft oppassen met choropleten

Op 7 november waren er verkiezingen voor een nieuw gouverneur in de Amerikaanse staat Virginia. Het was een mooie dag voor de Democraten, want de Democratische kandidaat Ralph Northam versloeg de Republikein Ed Gillespie. Het is gebruikelijk om verkiezingsuitslagen als deze in de vorm van een choropletische kaart weer te geven. Dat is een kaart die verdeeld is in geografische gebieden en elke gebied krijgt de kleur van de bijbehorende verkiezingsuitslag. Helaas geeft zo’n choropleet vaak een verkeerd beeld.

Oh, oh, dat cirkeldiagram

Er zijn allerlei manieren om de uitkomsten van opiniepeilingen grafisch weer te geven. Heel vaak zie je cirkeldiagrammen en staafdiagrammen langskomen. Vooral cirkeldiagrammen (taartdiagrammen) zijn populair. Helaas, want de interpretatie van cirkeldiagrammen is vaak lastiger dan die van staafdiagrammen. Een mooi voorbeeld hiervan was te vinden in de Political Monitor van October 2017 van de Britse peiler Ipsos MORI.

Is het geloof in reïncarnatie echt zo groot?

Ruim een kwart van de Nederlanders gelooft dat ze na hun dood terugkomen als een nieuw wezen. Huisdieren als een kat en hond of een vogel zijn favoriet. Aldus één van de uitkomsten van een peiling in opdracht van uitvaartverzekeraar Nuvema. De uitkomsten van deze peiling zijn terug te vinden op de website van de uitvaartverzekeraar, www.nuvema.nl. Daar is echter weinig terug te vinden over opzet en uitvoering van deze peiling. Dus moet je je afvragen of dit een deugdelijke peiling is.

Weer een slordige uitspraak van Kiesraad over referendum

Op woensdag 1 november 2017 maakte de Kiesraad bekend dat er 384.126 geldige verzoeken zijn ingediend voor het houden van een referendum over de Wiv. Omdat dit aantal groter is dan 300.000, kan het referendum dus doorgaan. De uitspraak van de Kiesraad is echter onjuist. In werkelijkheid weet de Kiesraad niet hoeveel geldige verzoeken er zijn. Het aantal van 384.126 is dus hooguit een schatting.

Deze grafiek wordt niet beter van al die pompoenen

Op 31 oktober is het Halloween. Dit feest wordt traditioneel gevierd in Angelsaksische landen als Amerika, Engeland, Canada en Ierland. Het feest wordt echter ook steeds populairder in Nederland en andere Europese landen. Eurostat, het statistisch bureau van de EU, vond het zelfs nodig een statistiek over de pompoenproductie te publiceren. Helaas was het wel een slechte grafiek.

Het is helemaal mis met de grafiek van Nieuwsuur

Op 18 oktober was een van de onderwerpen in Nieuwsuur de mensenhandel en het grote aantal slachtoffers daarvan in Nederland. De cijfers van de Nationaal Rapporteur Corinne Dettmeijer werden geïllustreerd aan de hand van een grafiek. Met die grafiek is echter wel heel veel mis.

De Oostenrijkse peilers deden het goed (op één partij na)

Op 15 oktober 2017 waren er parlementsverkiezingen in Oostenrijk. Daar werd met enige zorg naar uitgekeken. Volgens de peilingen zouden immers de conservatieve ÖVP en de rechts-populistische FPÖ wel eens goed kunnen scoren. Vooral Sebastian Kurz, de charismatische 31 jaar jonge partijleider van de ÖVP, deed het goed bij de kiezers. De FPÖ leek te profiteren van het voortgaande debat over de vluchtelingen. Hoe goed waren de voorspellingen van de peilers?

De peiling is niet representatief, maar wel journalistiek?

Bent u tevreden over het regeerakkoord of juist teleurgesteld? Gaan we – politiek gezien – mooie jaren tegemoet, of bent u juist somber gestemd? Deel uw mening met ons. Zo werd het NRC-lezersonderzoek aangekondigd op 10 oktober 2017. Je kon gelijk de vragenlijst starten door op het onderstaande plaatje te klikken. Op 14 oktober werden de uitkomsten van dit onderzoek bekend gemaakt. Je kunt je afvragen of dit nu een representatief onderzoek is? Nou nee, dit is niet het geval.

Gewone, normale Nederlander of gemiddelde Nederlander?

Tijdens de formatie bleek dat het cabinet Rutte III zich vooral gaat inzetten voor de gewone, normale Nederlander. Velen vroegen zich af wat daarmee precies werd bedoeld. Wanneer ben je een gewone, normale Nederlander? Maar er werd geen definitie gegeven. Was het dan misschien een voorbeeld van de ‘Gemiddelde Mens’ die al in 1835 door de bekende Belgische wiskundige Adolphe Quetelet werd bedacht? Een duikje in de geschiedenis.

Tendentieuze grafiek van Nieuwsuur over de defensiebegroting

Op 3 oktober 2017 moest minister Hennis van Defensie aftreden. Aanleiding was een ongeval met een ondeugdelijke granaat. Daardoor vonden twee militairen de dood en raakte een derde gewond. Er waren nog meer problemen bij defensie. De vraag kwam op of deze problemen veroorzaakt zijn door het steeds maar afnemende defensiebudget. Diezelfde dag ging het daarover in het programma Nieuwsuur. Tijdens de uitzending toonde het programma onderstaande grafiek. En dat is een nogal tendentieuze grafiek.

Prima peilingen in Noorwegen

Op 11 september 2017 waren er parlementsverkiezingen in Noorwegen. Ook bij deze verkiezingen was er weer sprake van een nek-aan-nek race. De verkiezingsstrijd ging tussen een rechts en een links blok. De grootste partijen in het rechtse blok waren de conservatieven (Høyre) en de anti-immigratiepartij (Fremskrittspartiet / Framstegspartiet). De leidende partij in het linkse blok was de sociaaldemocratisch partij (Arbeiderpartiet). Het rechtse blok won de verkiezingen. De vraag is of de peilers de uitslag goed hadden voorspeld. Die prognoses bleken verrassend goed te zijn. Hoe kan het dat de Noorse peilingen beter waren dan de Nederlandse? Tijd voor een vergelijking.

De Duitse peilers deden het maar matig

Op 24 september 2017 waren er parlementsverkiezingen in Duitsland. De campagne voor die verkiezingen verliep aanvankelijk redelijk saai. Hat zag ernaar uit dat de CDU wel weer de verkiezingen zou gaan winnen. En de SPD zou wel weer de tweede partij worden. Tegen het einde van de campagne ontstond er wat meer opwinding toen de peilingen voorspelden dat de rechts-populistische AfD (Alternative für Deutschland) meer dan 5% van de stemmen zou krijgen, en dus zitting ging nemen in de Bondsdag. Klopten die voorspellingen? De meeste peilers deden het redelijk, maar er waren wel missers.

Weer zo’n éénvraags flutpeiling van De Telegraaf

Op 16 september 2017 publiceerde De Telegraaf de uitkomst van een peiling over de islam. Geert Wilders was erg blij met die uitkomst. Uit de peiling bleek immers 66% van de respondenten vond dat islam geen religie is. Maar Wilders maakt zich blij met een dode mus, want de peiling is er een van het slechtste soort. Hij is totaal niet representatief.

Een twijfelachtige peiling van de SP onder agenten

De Nationale Politie is uitgelopen op een fiasco. Dit blijkt uit een onderzoek onder ruim 1600 agenten, uitgevoerd door de SP. De invoering van de Nationale Politie in 2013 heeft volgens de ondervraagde agenten een negatieve invloed op het politiewerk en de veiligheid in Nederland is er zelfs op achteruitgegaan. De SP pleit voor een parlementair onderzoek naar het functioneren van de Nationale Politie. Dit bericht verscheen op 15 september op de website van EénVandaag. Een belangwekkend bericht, maar klopt het ook? Die vraag kunnen we beantwoorden als we weten hoe het onderzoek is opgezet en uitgevoerd. Het is nog niet zo eenvoudig om daar achter te komen.

Goed onderzoek of sluwe wervingscampagne?

Op 12 september ontving ik per e-mail een uitnodiging om mee te doen aan het Nationaal Energie Onderzoek. Volgens de toelichting meet dit Onderzoek in slechts drie vragen de interesses en denkwijze van de Nederlandse bevolking over energie. De naam Nationaal Energie Onderzoek suggereert dat dit een groot en belangrijk onderzoek is. Al verder klikkend bleek echter dat het niet meer dan een sluwe wervingscampagne was van een groep energiebedrijven.

Een gemanipuleerde flutpeiling van de Republikeinen

Het gaat niet goed met Donald Trump. Steeds minder mensen vinden dat hij het goed doet. Dat blijkt steeds weer uit de peilingen. De ‘job approval rating’ ligt steeds onder de 40%. Dus minder dan 40% is tevreden over Trump en meer dan 60% is ontevreden. De Republikeinse partij was kennelijk niet zo gelukkig met al die negatieve peilingen en besloot een eigen peiling op te zetten. Die peiling werd echter zo gemanipuleerd dat er alleen maar een positieve score voor Trump uit kon komen. Een flutpeiling dus.

De eurobiljetten zijn mooi, maar de peiling kan beter

Nederlanders vinden het nieuwe biljet van 20 euro het mooiste bankbiljet. Dat blijkt uit een tweejaarlijkse peiling van De Nederlandsche Bank (DNB). Het briefje van 5 euro is het minst populair, slechts 3 procent van de ondervraagden vindt dit het mooiste eurobiljet. Dit bericht verscheen op 1 augustus 2017 in diverse media. Maar die media namen niet de moeite om te controleren of de peiling wel netjes volgens de regels van de kunst was uitgevoerd. Ze namen de uitkomsten klakkeloos over. Dat is niet goed. Laten we daarom nog eens goed naar deze peiling kijken.

Zit er wel zoveel info in deze infographic?

Waar gaan de Nederlanders op vakantie naar toe? Dat wilde de Volkskrant weten. Daarom zocht de krant allerlei informatie bij elkaar en maakte daarvan een infographic. Hij stond op 1 juli 2017 in de krant. Het resultaat ziet er vrolijk en frivool uit, maar de grafieken zijn weinig functioneel. Er is van alles mis met die grafieken. Kennelijk was de vormgeving belangrijker dan het overbrengen van de boodschap in de gegevens.

De duistere praktijken van de Brabantse peilers

Brabantse boeren krijgen op grote schaal te maken met criminelen die hun schuur of loods willen gebruiken voor duistere praktijken. Zeker 13 procent is weleens gepolst om hieraan mee te werken en een kwart zegt verhalen te kennen van collega’s. Dat blijkt uit een peiling van Omroep Brabant waarbij agrariërs anoniem is gevraagd naar hun ervaringen. Het uitvoeren van een peiling over zo’n gevoelig onderwerp is best wel lastig. Daarom roept dit bericht de vraag op hoe deze peiling is uitgevoerd. Kloppen de uitkomsten wel?

Een povere peiling van RTL over de kabinetsformatie

Meerderheid GroenLinks-stemmers baalt: 'Onbegrijpelijk, ik snap Jesse niet'. Dat was de kop van een nieuwsbericht op de website van RTL op 12 juni 2017. Veel GroenLinks-stemmers waren het kennelijk niet eens met het besluit van Jesse Klaver om te stoppen met de formatieonderhandelingen. Dit zou allemaal blijken uit een peiling in opdracht van RTL Nieuws. Helaas was het wel een slechte peiling, zodat je weinig waarde kunt hechten aan de uitkomsten.

En hoe deden de peilers het bij de Franse parlementsverkiezingen?

De Fransen stemmen de laatste tijd heel wat af. Eerst moesten ze in twee ronden (op 23 april 2017 en 7 mei 2017) een nieuw president kiezen. En nu is het Franse parlement aan de beurt. Die verkiezingen gaan ook weer in twee rondes. De eerste ronde was op 11 juni 2017. Hoe deden de peilers het? Niet onaardig, maar er viel toch nog wel wat aan te merken.

UK Polling Disaster Continued?

Op 8 mei 2015 waren er parlementsverkiezingen in het Verenigd Koninkrijk. In de aanloop waren er veel peilingen en die voorspelden allemaal hetzelfde: een nek-aan-nek race tussen de Conservatieven en Labour. En ze zaten er allemaal naast. Uiteindelijke wonnen de Conservatieven met een meerderheid van 6,5 procentpunten en konden ze alleen regeren. Zie voor meer hierover bijvoorbeeld de UK Polling Disaster.

Een flutpeiling van het AD over hoofddoekjes

Op 18 mei 2017 bevatte het actualiteitenprogramma EenVandaag een item over hoofddoekjes. Het ging over het toestaan van hoofddoekjes bij de Amsterdamse politie. In dit item werd een peiling van het dagblad AD aangehaald. Volgens presentator Rob Hadders zou uit dit onderzoek blijken dat 84% van de Nederlanders tegen die hoofddoekjes bij de politie is. Hij vergat daarbij te zeggen dat dit onderzoek totaal niet representatief was en dus geen enkele waarde had.

De peilers deden het goed in Nordrhein-Westfalen

Op 15 mei 2017 waren er verkiezingen in de Duitse deelstaat Nordrhein-Westfalen. Dit is een grote deelstaat die grenst aan Nederland. Aanvankelijk was de verwachting dat de SPD zou winnen, maar tot veler verrassing werd het de CDU. Er werd niet heel veel gepeild tijdens de verkiezingscampagne, maar de wel gehouden peilingen pakten de ontwikkelingen goed op.

Deze grafieken zijn bepaald geen kampioenen

Een meerderheid (58%) van de voetballiefhebbers ziet het liefst dat Feyenoord landskampioen wordt. Dat bleek op 12 mei 2017 (vlak voor het einde van de competitie) uit een peiling van EenVandaag (in samenwerking met NOS Studio Sport) onder ruim 17.000 leden van het Opiniepanel. 38 % van de respondenten hoopt dat Ajax kampioen wordt. De uitkomsten van de peiling worden ook in de vorm van grafieken weergegeven. Die grafieken zijn echter erg slordig.

Een mooie avocado, maar een erg foute grafiek

Een grafiek is bedoeld om informatie in een set gegevens naar boven te brengen en die op een heldere manier te tonen. Dat werkt alleen als de grafiek goed is ontworpen. De ontwerper moet zich aan een aantal richtlijnen houden. Doet hij dat niet, dan kunnen ‘gedrochten’ ontstaan. In het dagblad Trouw stond op 9 mei 2017 zo’n gedrocht. Hij zou hoog scoren in een wedstrijd voor de slechtste grafiek ooit.

Er is veel mis met deze grafiek van EenVandaag

Op 2 mei 2017 ging het in EenVandaag, de actualiteitenrubriek op NPO1, over de hoogte van de zorgpremie. De grote zorgverzekeraars maken verlies. Dat kan volgens EenVandaag maar één ding betekenen en dat is dat de zorgpremie omhoog gaat. Op TV en op de website van het programma werd onderstaande grafiek getoond. Die roept een beeld op van een sterke stijging door de jaren van de zorgpremie. Helaas is er veel mis met de grafiek.

De Franse peilers zaten ernaast in de tweede ronde

De Franse peilers deden het in de tweede ronde van de presidentsverkiezingen (op 7 mei 2017) niet zo goed als in de eerste ronde (op 23 april 2017). Toen viel de werkelijke uitslag bij alle peilers binnen de onzekerheidsmarges. Dat was nu niet het geval. Bij alle peilers vielen de voorspellingen voor Macron te laag uit (en dus waren de voorspellingen voor Le Pen te hoog).

Is er wel meer steun voor de monarchie?

Na het dieptepunt van vorig jaar, toen de steun voor de monarchie bleef steken op 65 procent, is er dit jaar weer een kleine opleving. 70 procent van de Nederlanders zegt nu achter de monarchie te staan. Aldus een bericht op de website van de NOS op 27 april 2017. Het lijkt er inderdaad op dat de steun is gestegen. Maar klopt dit? Een nadere analyse leert dat je deze conclusie niet kunt trekken.

De Franse peilers deden het goed

De Franse peilers deden het goed in de eerste ronde van de Franse presidentsverkiezing op 23 april 2017. De echte uitslag viel binnen de onzekerheidsmarges van deze peilingen.

De valkuilen van het peilen van groepen met een migratieachtergrond

Het is altijd lastig om groepen te peilen met een migratieachtergrond. Dit komt om je heel vaak geen aselecte steekproef uit die groepen kunt trekken. Dat was ook weer goed te zien bij een peiling die is gedaan rondom het Turkse referendum. De uitkomsten zaten er behoorlijk naast.

Stijgt het klantenoordeel van een OV-reis zo snel?

Het algemene klantenoordeel over een OV-reis, was in 2016 hoger dan ooit. Dat blijkt uit de OV-Klantenbarometer, die eind 2016 voor de 16e keer op rij is uitgevoerd. Aldus een bericht op de website van Verkeerskunde, hét multimediale platform voor verkeerskundigen. Ter illustratie is onderstaande grafiek in het bericht opgenomen. Daarin wordt de suggestie gewekt van een behoorlijke stijging in de loop van de tijd. Gaat de stijging van het klantoordeel inderdaad zo hard? Bij nadere bestudering van de grafiek blijkt die stijging niet zo spectaculair te zijn.

Hoe deden de peilers het bij de verkiezingen?

Op 15 maart 2017 waren er verkiezingen voor de Tweede Kamer. Daaraan vooraf ging een lange verkiezingscampagne. En er werd veel gepeild. De zes belangrijkste peilers waren I&O Research, Kantar Public, het LISS-Panel, Peil, de Politieke Barometer en De Stemming. Hoe brachten zijn het er af? Niet slecht. Maar toch waren er een paar missers.

Forum voor Democratie manipuleert weer een grafiek

Op 12 maart 2017 verspreidde Thierry Baudet een grafiek op Twitter waaruit zou moeten blijken dat er een explosieve groei is van het aantal likes (en engagements) op Facebook. Volgens de getoonde gegevens heeft Forum voor Democratie inderdaad de meeste likes, maar de grafiek klopt niet. De verschillen zijn groter weergegeven dan ze in werkelijkheid zijn.

Is de consumptie van frisdrank echt zo sterk gedaald?

Op vrijdag 10 maart 2017 kwam de NOS in het journaal met het bericht dat de verkoop van de frisdrank Sprite met suiker stopt. Alleen de suikerloze versie blijft. Het bericht werd opgefleurd met een grafiek waarin getoond werd de consumptie van frisdrank de afgelopen Jaren behoorlijk is gedaald. Helaas klopt de grafiek niet.

Een explosie van het eigen risico? Wel met deze grafiek van de SP

De SP wil het eigen risico in de zorg afschaffen. Dit eigen risico is neemt immers steeds maar toe. Volgens de SP is er zelfs sprake van een explosieve stijging. Dat is duidelijk te zien in de onderstaande grafiek. Die grafiek werd op 5 maart 2017 door de SP rondgestuurd via Twitter. Na 2012 lijkt het eigen risico inderdaad explosief te zijn gestegen, van niets tot een heel groot bedrag. Alleen is er iets mis met deze grafiek.

Heeft Jesse Klaver het Carré-debat wel gewonnen?

‘Kijkers roepen Jesse Klaver uit tot winnaar Carré-debat’. Aldus de kop van een nieuwsbericht op de website van RTL Nieuws op 5 maart 2017. Meteen na afloop van het debat had RTL de meningen van de kijkers gepeild. Kennelijk kwam Jesse Klaver (GroenLinks) als winnaar uit die peiling. Dat was wel een erg snelle peiling. En het roept de vraag op of die peiling wel klopt.

Is DENK de grootste partij op de Hogeschool Rotterdam?

De verkiezingen komen eraan. En dus volgen de peilingen elkaar in hoog tempo op. Zo werd ook een peiling georganiseerd bij de Hogeschool Rotterdam. De opvallende uitkomst van die peiling was dat DENK de grootste partij was. Dat zou misschien wel kunnen omdat er veel mensen met een migratieachtergrond in Rotterdam wonen, maar toch vraag je je bij deze uitkomsten af of de peiling wel goed in elkaar zat. Tijd voor een nadere analyse dus.

Een ‘fake’ peiling van Trump

“The FAKE NEWS media (failing @nytimes, @NBCNews, @ABC, @CBS, @CNN) is not my enemy, it is the enemy of the American People!” Aldus een tweet van Donald Trump op 17 februari 2017. Trump is kennelijk op het oorlogspad tegen de media. Hij probeert steun te krijgen van het volk voor zijn strijd via een peiling. Die peiling, de Mainstream Media Accountability Survey, zit echter heel slecht in elkaar. Alles lijkt erop gericht te zijn de respondenten de kant van Trump op te sturen.

Over zelfselectie en manipulatie

Een steekproef voor een peiling moet bij voorkeur via loting tot stand komen. Immers, zo krijg je een representatieve peiling. Helaas gebeurt dat niet altijd. Het is meestal sneller en goedkoper om gebruik te maken van zelfselectie. Dat is niet zonder risico’s. Het is namelijk niet ondenkbaar dat groepen respondenten dan proberen de uitkomst van een peiling te manipuleren. Dat heeft zich ook voorgedaan bij een peiling naar aanleiding van het Noordelijk Lijsttrekkersdebat.

Drukte in de metro van Moskou

Op donderdag 19 januari 2017 stuurde Gert-Jan Dennekamp, verslaggever van NOS/Nieuwsuur, een tweet rond met een aardige grafiek over de metro in Moskou. Die grafiek probeert de drukte op de verschillende stations in beeld te brengen. Zo op het eerste gezicht lijkt een heldere, informatieve grafiek. Toch zitten er onvolkomenheden in.

Is de ‘Graaier van het jaar’ gemanipuleerd?

Eind 2016 organiseerde het radioprogramma Bureau Buitenland de verkiezing van de ‘Graaier van het jaar’. Het ging om het kiezen van de meest corrupte autoritaire leider. Er was ook een publieksprijs. Daarvoor konden de luisteraars stemmen in een peiling op de website van het programma. Met die peiling was wel heel erg veel mis. Een flutpeiling dus.

Belgische staatssecretaris in de fout met ‘kwakkelende grafiek’

Het aantal regularisatieaanvragen (aanvragen voor een verblijfsvergunning om een buitengewone reden) is in België drastische gedaald. Dat meldt de Belgische staatssecretaris voor Asiel en Migratie Theo Francken op 4 januari 2017. Volgens hem komt dat omdat een dergelijke aanvraag niet meer gratis is. Zijn partij (de N-VA) onderbouwt dit bericht met een grafiek. Met die grafiek is echter van alles mis. De Belgische krant “De Morgen” spreekt terecht van een ‘kwakkelende grafiek’.