Publicaties

Bethlehem, J.G. (2023): Peilingen in de Praktijk

‘Peilingen in de Praktijk’ is een nieuwe aflevering in de Zebra Reeks. De Zebra-reeks laat leerlingen uit de bovenbouw havo/vwo kennismaken met onderwerpen uit de wiskunde die buiten het standaard curriculum vallen, maar wel zeer de moeite waard zijn. De reeks wordt samen met de Nederlandse Vereniging van Wiskundeleraren uitgegeven. De teksten zijn ontstaan door een unieke samenwerking van docenten havo/vwo en hogeschool of universiteit.

https://www.epsilon-uitgaven.nl/zebra-reeks/peilingen-in-de-praktijk/11192

Bethlehem, J.G. (2023): Representativiteit: wat is dat, en hoe meet je het?

Op 21 februari 2023 nam de Tweede Kamer een motie van de SGP aan die oproept eisen te stellen aan de representativiteit van ideële belangenorganisaties als ze juridische actie willen ondernemen tegen de staat. Dit roept twee vragen op: wat is representativiteit eigenlijk, en hoe meet je dat?https://www.aselector.nl/representativiteit.pdf

Bethlehem, J.G. (2022): Het Grafiekenboek

Grafieken kom je overal tegen in publicaties en in de media. Hoe goed zijn ze eigenlijk? Een goede grafiek is een krachtig instrument om de boodschap in gegevens naar boven te halen. Maar er zijn ook veel slecht ontworpen grafieken die je makkelijk op het verkeerde been kunnen zetten. Dit boek helpt je het kaf van het koren te scheiden.

Bethlehem, J.G. & Holsteijn, J. van (2021): Noblesse Oblige – Reflections on Methodological Pitfalls of the Eurobarometer

The Eurobarometer is an important European poll. It is already caried out for many years. This poll has some shortcomings. Unfortunately, it is not simple to obtain insight in these shortcomings, because of the lack of transparency of the commissioner (the European Commission). This paper attempts to make clear how the Eurobarometer is set up and carried out.

Bethlehem, J.G. (2021): Checklist voor peilingen – versie 4

Er wordt steeds meer onderzoek gedaan. Daar zitten goede en slechte onderzoeken bij. Het is voor journalisten, bestuurders, beleidsmakers en anderen die van de uitkomsten van peilingen gebruik maken, niet eenvoudig om op simpele wijze het kaf van het koren te scheiden. Deze checklist kan u daarbij helpen. Door de vragen in de checklist één voor één af te lopen, kunt u een eerste indruk krijgen van de kwaliteit van een peiling. Deze nieuwe versie bevat ook enkele voorbeelden.

Bethlehem, J.G. (2021): Het Programma PollSim voor het simuleren van aselecte steekproeven

PollSim is een programma om aselecte steekproeven uit populaties te simuleren. Je kunt zien hoe goed je onder allerlei omstandigheden het percentage of het gemiddelde in de populatie kunt schatten. Ook kun je non-respons genereren en wegen. Download het zip-bestand op een Windows-PC en pak het uit. Start het programma door dubbelklikken op pollsim.exe.

Bethlehem, J.G. (2019): Het spreidingsdiagram opnieuw bekeken

Het spreidingsdiagram (puntenwolk) is een veelgebruikt instrument voor het onderzoeken en weergeven van de samenhang tussen twee variabelen. Om te komen tot een goede interpretatie is een correcte vormgeving van het spreidingsdiagram belangrijk. Een aantal aspecten komt in dit rapport aan bod. Speciaal wordt ingegaan op het weergeven van overlappende punten door middel van jitter, zonnebloemen en zeepbellen, en voor het grafisch onderzoeken van samenhang met kruismedianen, splines en lokaal gewogen regressie.

Bethlehem, J.G. (2018): Understanding Public Opinion Polls

Polls are conducted every day all around the world for almost everything (especially during elections). But not every poll is a good one. A lot depends on the type of questions asked, how they are asked and whether the sample used is truly representative. And these are not the only aspects of a poll that should be checked. This book helps you to separate the chaff from the wheat. It is built around a checklist for polls that describes the various aspects of polls to pay attention to if one intends to use its results.

Bethlehem, J.G. & Holsteyn, J. (2018): In de schaduw, uit de schaduw -Oorsprong, aard en mogelijkheden van schaduwverkiezingen of exit polls

De vele reguliere opiniepeilingen dreigen de exit poll of schaduwverkiezing te overwoekeren en daar het zicht op te ontnemen. Dat zou jammer zijn, gezien de eigen aard en mogelijkheden die deze peilingvariant heeft. Wij hebben daarom het stiefkindje van de opiniepeilingen uit de schaduw gehaald en in het zonnetje gezet.

Bethlehem, J.G. (2017): 50 jaar exitpolls!

Op 15 februari 2017 was het precies 50 jaar geleden dat de eerste exitpoll werd uitgevoerd. Dat gebeurde in Nederland bij de Tweede Kamerverkiezingen van 15 februari 1967. En nog steeds kunnen exitpolls verkiezingsuitslagen goed voorspellen. Dit artikel beschrijft die eerste exitpoll en legt uit wat er komt kijken voor het opzetten en uitvoeren van een exitpoll.

Bethlehem, J.G. & Holsteijn, J. van (2017): Eurobar? Onderzoekstechnische
haken en ogen van de Eurobarometer

De Eurobarometer is een belangrijke Europese peiling die al vele jaren lang wordt gedaan. De peiling heeft wel wat methodologische tekortkomingen. Helaas is het niet eenvoudige om die in beeld te krijgen, omdat de opdrachtgever (de Europese Commissie) weinig transparant is. Dit artikel probeert meer duidelijkheid te geven over opzet en uitvoering van deze peiling.

Bethlehem, J.G. (2015): Over goed en slecht peilen: de casus van de koopzondag

Verslag van onderzoek naar de mening van de inwoners van Alphen aan den Rijn over koopzondagen. Daarvoor zijn op hetzelfde moment en met dezelfde vragenlijst drie verschillende peilingen uitgevoerd. Dit voorbeeld maakt duidelijk dat een verkeerde steekproef kan leiden tot onjuiste conclusies en dus misschien ook wel tot onjuiste beleidsbeslissingen

Bethlehem, J.G. (2015): Handleiding voor online peilingen

Online peilen lijkt een aantrekkelijke manier om snel en goedkoop veel gegevens te verzamelen. Toch zijn er haken en ogen. Deze handleiding voor online peilingen helpt je op weg bij het opzetten van een goede peiling. Bovendien leert deze peiling je het kaf van het koren te scheiden bij peilingen van andere onderzoekers.

Bethlehem, J.G. (2015): Wel en wee van grafieken

Grafieken zijn een krachtig middel om de informatie zichtbaar te maken die verstopt zitten in statistische gegevens. Grafieken kunnen vooral heel effectief zijn voor het overbrengen van een statistische boodschap aan het grote publiek. Er zijn echter gevaren. Een slecht vormgegeven grafiek kan je heel makkelijk op het verkeerde been zetten. Deze publicatie gaat over goede en slechte grafieken.

Bethlehem, J.G. (2014): Peilen doe je zo

Dit is een lesmodule voor leerlingen in de bovenbouw van havo/vwo. Doel is om leerlingen bewust te maken van het feit dat niet elke peiling even betrouwbaar is. Dagelijks berichten de media over resultaten van onderzoeken, peilingen en surveys. Maar zijn deze wel altijd even goed uitgevoerd? Bijvoorbeeld, een peiling via twitter richt zich op een bepaalde doelgroep en zal dus niet representatief zijn voor heel Nederland. De module bevat ook een checklist die je kunt doorlopen om een peiling te beoordelen.

Bethlehem, J.G. (2013): Deugdelijke peilingen

Dit rapport beschrijft in eenvoudige termen hoe een deugdelijke peiling (survey) moet worden opgezet en uitgevoerd. Het is een handleiding voor journalisten, beleidsmedewerkers, bestuurders e.d. die beroepshalve met peilingen van anderen in aanraking komen en zich afvragen of de uitkomsten van het onderzoek wel iets voorstellen. Het is ook een handige leidraad voor mensen die overwegen zelf een peiling uit te voeren, maar niet precies weten hoe ze dat moeten doen.

Bethlehem, J.G. (2013): De kwaliteit van internetpeilingen

Dit is mijn oratie bij de Universiteit Leiden. Er wordt in Nederland heeft wat afgepeild. Vooral het internet is er de oorzaak van dat het aantal peilingen sterk is toegenomen. Internet maakt het mogelijk eenvoudig, snel en goedkoop veel gegevens te verzamelen. De vraag is echter of die internetpeilingen wel een goed beeld geven van de werkelijkheid. In de oratie wordt ingegaan op problemen als onderdekking, zelfselectie, non-respons en meetfouten.

Bethlehem, J.G. (2012): Peilingen beoordelen – een checklist.

Er wordt steeds meer onderzoek gedaan. Daar zitten goede en slechte onderzoeken bij. Het is voor journalisten, bestuurders, beleidsmakers en anderen die van de uitkomsten van peilingen gebruik maken, niet eenvoudig om op simpele wijze het kaf van het koren te scheiden. Deze checklist kan u daarbij helpen. Door de vragen in de checklist één voor één af te lopen, kunt u een eerste indruk krijgen van de kwaliteit van een survey.

Bethlehem, J.G. & Biffignandi, S. (2012): Handbook of Web Surveys

Dit boek gaat over het uitvoeren van surveys en peilingen via het Internet. Deze manier van het verzamelen van gegevens is in korte tijd erg populair geworden. Dat is niet verwonderlijk, aan gezien je zo snel en goedkoop veel gegevens kunt verzamelen. Er zijn echter allerlei methodologische haken en ogen. Het boek behandelt allerlei aspecten van het web surveys, van het ontwerpen van de elektronische vragenlijst, via het trekken van de steekproef, de problemen van onderdekking, non-respons en zelfselectie, het optreden van meetfouten tot de correctie van de uitkomsten met behulp van weegtechnieken.

Bethlehem, J.G., Cobben, F, & Schouten, B. (2011): Handbook of Nonresponse in Household Surveys

Dit boek beschrijft het probleem van de non-respons. Vooral in Nederland treedt er veel non-respons op in surveys en peilingen. Die non-respons is selectief. Daardoor is de kans groot dat we verkeerde conclusies trekken uit ons onderzoek. Dit boek geeft een diepgaand overzicht van de problematiek. Globaal zijn er twee manieren om de non-respons aan te pakken. We kunnen proberen met allerlei maatregelen proberen de non-respons in het veld tegen te gaan. Of we kunnen proberen de gevens voor de akelige effecten van non-respons te corrigeren. Beide aanpakken worden in dit boek uitgebreid beschreven.

Bethlehem, J.G. (2009): The Rise of Survey Sampling

Dit rapport geeft een overzicht van de geschiedenis van het gebruik van steekproeven voor surveys en peilingen.

Bethlehem, J.G. (2008): How accurate are self-selection web surveys?

Wetenschappelijk rapport over de problemen die ontstaan wanneer er geen nette kanssteekproef wordt getrokken voor een web-survey. Er komen alleen gegevens beschikbaar van mensen die spontana besluiten om mee te doen aan een onderzoek. Dit wordt zelf-selectie genoemd.

Bethlehem, J.G. (2008): How accurate are self-selection web surveys?

Wetenschappelijk rapport over de problemen die ontstaan wanneer er geen nette kanssteekproef wordt getrokken voor een web-survey. Er komen alleen gegevens beschikbaar van mensen die spontana besluiten om mee te doen aan een onderzoek. Dit wordt zelf-selectie genoemd.

Bethlehem, J.G. (2007): Reducing the bias of web survey based estimates

Rapport over de methodologische problemen van online-surveys (Engels). Dit is een wat meer wetenschappelijk rapport. Hierin wordt ook uitgeleg dat het gebruik van reference-surveys, zoals bij het onderzoek 21minuten.nl, niet alle problemen oplost.

NRC (6 oktober 2007): De 21 minuten vijver.

Artikel over de problemen met de representativiteit van het onderzoek 21minuten.nl.

Bethlehem, J.G. (2006): Representativiteit van web-surveys – Een illusie?

Rapport over de methodologische problemen van online-surveys. Dit rapport is ook gepresenteerd op het symposium “Access panels en online onderzoek, panacee of slangenkuil” dat door het KNAW op 12 oktober 2006 werd georganiseerd.

Bethlehem, J.G. (2000): De Nationale Doorsnee

Analyse van een peiling onder 50.000 scholieren in klas 1 en 2 van het voortgezet onderwijs. De gegevens werden op één dag verzameld en geanalyseerd. De peiling was onderdeel van het project ‘De Nationale Doorsnee’.