PeilingPraktijken

Alles over goede en slechte peilingen.

Diversen

Wees voorzichtig met het gebruik van voxpops

Steeds vaker gebruiken media zogenoemde voxpops. Een voxpop is een kort videofragment waarin een onderzoeker de ‘gewone’ man of vrouw bevraagt over een in de regel actueel onderwerp. Voxpops worden soms straatpeilingen genoemd, wat de indruk wekt dat ze een vorm van opinieonderzoek (een soort peilingen) zijn. Dit is echter meestal niet het geval. Daarom is voorzichtigheid geboden met het gebruik en de interpretatie van voxpops. En een scherp besef van wat het wel (journalistieke impressie) en niet (vorm van opinieonderzoek) is.

Een slechte grafiek van Nieuwsuur over vaccinatie

In de aanloop naar de verkiezingen van 17 maart 2021 was er in de media veel aandacht voor de politieke partijen en hun programma’s. Nieuwsuur kwam met een reeks thema-uitzendingen rondom de 13 grootste partijen. Op 2 maart was Esther Ouwehand van de Partij voor de Dieren aan de beurt. Tijdens het gesprek toonde presentator Mariëlle Tweebeeke onderstaande grafiek. Er is van alles mis met deze grafiek. Waarom zo’n onzinnig cirkeldiagram (of eigenlijk donut-diagram), terwijl een staafdiagram (of een dotplot) veel beter is?

Publieksonderzoek van de NOS is niet representatief

Op 15, 16 en 17 maart 2021 zijn er Tweede Kamerverkiezingen. De media peilen dan ook volop wat er zoal leeft onder Nederlandse kiezers. Ook de NOS wil weten wat zij belangrijk vinden en waarover zij zich zorgen maken. Daartoe nodigt de NOS burgers uit om mee te doen aan haar zogenoemde ‘publieksonderzoek’. Geen opinieonderzoek, aldus de NOS in de eigen verantwoording, ‘maar een middel om ervaringen en verhalen van mensen te horen en te peilen wat er leeft. Het helpt de NOS nog beter te berichten over wat er leeft in Nederland’. Het is te hopen dat de NOS handelt in het volle besef van deze bescheiden ambitie. Want het is van groot belang te weten dat dit onderzoek geen representatieve peiling is en dat de gehanteerde vragenlijst aanzienlijke tekortkomingen kent. Voorzichtigheid en terughoudendheid met de uitkomsten van dit onderzoek zijn geboden!

Pollen en Corona: causaal verband of alleen maar samenhang?

Is er verband tussen de activiteit van pollen in de lucht en het Coronavirus? Dat onderzochten Martijn Hoogeveen (Open Universiteit), Eric van Gorp (Erasmus MC) en Ellen Hoogeveen (Jeroen Bosch Ziekenhuis). Ze vroegen zich af of het Coronavirus zich gedraagt als een seizoensgebonden virus zoals griep. En hun antwoord was ‘ja’. Die griepachtige zieken verdwijnen naarmate de activiteiten van allergene pollen toenemen. In het Leidsch Dagblad van zaterdag 17 oktober stond een uitgebreid artikel over dit onderzoek. Daarin stond een grote grafiek waarin het verloop in de tijd van het aantal griepachtige verschijnselen (inclusief Corona) en de concentraties pollen werd getoond. Over die grafiek kunnen we nog wel wat opmerkingen maken.

Zijn er minder besmettingen in rijke Belgische gemeenten?

Bestaat er in België verband tussen het aantal besmettingen (per 100.000 inwoners) in een gemeente en de rijkdom van een gemeente. Anders gezegd: Zijn er in rijke gemeenten minder besmettingen dan in arme gemeenten? De Belgische krant De Morgen trok op 25 september 2020 de conclusie dat dit inderdaad het geval was. De krant kwam met een grafiek waaruit dit zou moeten blijken. Alleen had die grafiek enkele tekortkomingen. We geven een paar voorbeelden van betere grafieken.

De Amerikaanse peilers deden het dit keer best goed

Op 6 november 2018 waren er tussentijdse verkiezingen in de Verenigde Staten. Ze worden de ‘midterms’ genoemd. Het zijn geen presidentsverkiezingen, maar een combinatie van veel andere verkiezingen. Het ging bijvoorbeeld om verkiezingen voor het Huis van Afgevaardigden (onze Tweede Kamer) en de Senaat (onze Eerste Kamer). Maar ook kon je nieuwe gouverneurs, sheriffs en schoolbesturen kiezen. Het een hele klus voor de peilers om goede voorspellingen te doen voor al die verkiezingen. Om toch een beeld te krijgen van de prestaties van de peilers, kijken we hier naar de verkiezingen voor het Congres.

De robopolls zaten er naast bij de verkiezingen in Alabama

Een harde verkiezingsstrijd met een verrassende uitslag. Zo kun je de Senaatsverkiezing in de Amerikaanse staat Alabama wel kenschetsen. De Democratische kandidaat Doug Jones versloeg de Republikein Roy Moore. Moore was omstreden na beschuldigingen van het aanranden van tienermeisjes. Zagen de peilingen deze uitslag aankomen?

Weer een slordige uitspraak van Kiesraad over referendum

Op woensdag 1 november 2017 maakte de Kiesraad bekend dat er 384.126 geldige verzoeken zijn ingediend voor het houden van een referendum over de Wiv. Omdat dit aantal groter is dan 300.000, kan het referendum dus doorgaan. De uitspraak van de Kiesraad is echter onjuist. In werkelijkheid weet de Kiesraad niet hoeveel geldige verzoeken er zijn. Het aantal van 384.126 is dus hooguit een schatting.

Gewone, normale Nederlander of gemiddelde Nederlander?

Tijdens de formatie bleek dat het cabinet Rutte III zich vooral gaat inzetten voor de gewone, normale Nederlander. Velen vroegen zich af wat daarmee precies werd bedoeld. Wanneer ben je een gewone, normale Nederlander? Maar er werd geen definitie gegeven. Was het dan misschien een voorbeeld van de ‘Gemiddelde Mens’ die al in 1835 door de bekende Belgische wiskundige Adolphe Quetelet werd bedacht? Een duikje in de geschiedenis.

Goed onderzoek of sluwe wervingscampagne?

Op 12 september ontving ik per e-mail een uitnodiging om mee te doen aan het Nationaal Energie Onderzoek. Volgens de toelichting meet dit Onderzoek in slechts drie vragen de interesses en denkwijze van de Nederlandse bevolking over energie. De naam Nationaal Energie Onderzoek suggereert dat dit een groot en belangrijk onderzoek is. Al verder klikkend bleek echter dat het niet meer dan een sluwe wervingscampagne was van een groep energiebedrijven.

Een gemanipuleerde flutpeiling van de Republikeinen

Het gaat niet goed met Donald Trump. Steeds minder mensen vinden dat hij het goed doet. Dat blijkt steeds weer uit de peilingen. De ‘job approval rating’ ligt steeds onder de 40%. Dus minder dan 40% is tevreden over Trump en meer dan 60% is ontevreden. De Republikeinse partij was kennelijk niet zo gelukkig met al die negatieve peilingen en besloot een eigen peiling op te zetten. Die peiling werd echter zo gemanipuleerd dat er alleen maar een positieve score voor Trump uit kon komen. Een flutpeiling dus.

De valkuilen van het peilen van groepen met een migratieachtergrond

Het is altijd lastig om groepen te peilen met een migratieachtergrond. Dit komt om je heel vaak geen aselecte steekproef uit die groepen kunt trekken. Dat was ook weer goed te zien bij een peiling die is gedaan rondom het Turkse referendum. De uitkomsten zaten er behoorlijk naast.

Is het aantal schone openbare toiletten wel drastisch gedaald?

Na twee opeenvolgende jaren van stijging, is de hygiëne in openbare toiletten schrikbarend gedaald. Van de 150 onderzochte openbare toiletten bleek slechts 27% bacteriologisch schoon. Dat bleek uit het Nationaal Toiletonderzoek 2016 dat op 15 november 2016 werd gepubliceerd. Als de uitkomsten zo schrikbarend zijn, is het goed om nog eens even te kijken naar de opzet en uitvoering van dit onderzoek.

De Schotse peilers deden het goed

Op 5 mei waren er verkiezingen in Schotland. Daarbij was de SNP, de Schotse nationale partij, de grote winnaar. Deze partij veroverde 63 zetels in het Schotse parlement. Daarmee kwam de SNP net twee zetels te kort van een absolute meerderheid. De Conservatieven deden het ook goed, en de Labour erg slecht. Was dit allemaal voorspeld door de peilers?

Andere vraagstelling, ander antwoord

Het maakt echt wel uit hoe je een vraag in een peiling formuleert. De Britse Marktonderzoeker Ipsos MORI liet daarvan een mooi voorbeeld zien in een peiling over het verlagen van de kiesgerechtigde leeftijd in Engeland.

De eerste helft maar afschaffen?

Wie het wereldkampioenschap voetbal in Brazilië volgt, en wie doet dat niet, zal misschien ook wel het gevoel krijgen dat er in de tweede helft meer gescoord wordt dan in de eerste helft. Tijd voor nader onderzoek dus.

Goochelen met cijfers

Op 20 november 2009 is het nieuwe boek van wetenschapsjournalist Hans van Maanen uitgekomen. De titel van het boek is "Googelen met getallen - cijfers en statistiek in krant en wetenschap". Het boek laat in allerlei voorbeelden zien dat objectieve cijfers lang niet altijd een correcte weergave van de werkelijkheid zijn.