Is er wel meer steun voor de monarchie?
Na het dieptepunt van vorig jaar, toen de steun voor de monarchie bleef steken op 65 procent, is er dit jaar weer een kleine opleving. 70 procent van de Nederlanders zegt nu achter de monarchie te staan. Aldus een bericht op de website van de NOS op 27 april 2017. Het lijkt er inderdaad op dat de steun is gestegen. Maar klopt dit? Een nadere analyse leert dat je deze conclusie niet kunt trekken.
Elk jaar met Koningsdag laat de NOS een enquête uitvoeren door Ipsos (de Koningsdagenquête). Die enquête meet het draagvlak voor de monarchie en de populariteit van de koning en de koningin. Het is jammer dat de steekproef van deze peilingen zo klein is. In 2016 deden 553 mensen mee aan de peiling en in 2017 waren er 501 respondenten. Door de kleine steekproefomvang zijn de onzekerheidsmarges groot. Daarom moet je voorzichtig zijn met het duiden van verschillen. Die kunnen immers ook door het toeval zijn veroorzaakt, en hoeven dus geen ‘echte’ verschillen te zijn. Daarom is het belangrijk om onzekerheidsmarges te berekenen en die te vermelden. Helaas is dit niet gebeurd.
Een voorbeeld is de vraag naar de steun voor de monarchie. In 2016 vond 65% dat Nederland een monarchie moet blijven. In 2017 was dat 70%. Maar beide percentages hebben een onzekerheidsmarge. En het verschil van die twee percentage (5%) heeft dus ook een onzekerheidsmarge. Die onzekerheidsmarge is 5,8%. Dat is meer dan 5%. Omdat de onzekerheidsmarge van het verschil groter is dan het werkelijke verschil, kun je dus niet concluderen dat er een ‘echt’ verschil is tussen de twee jaren. Het kan best zo zijn dat de steun niet is toegenomen, of misschien zelfs een beetje is afgenomen. De conclusie van de NOS klopt dus niet.
Als je de percentages voor beide jaren apart tekent, maar wel de onzekerheidsmarges erbij weergeeft, dan krijg je een dot-plot als hieronder. Daaraan kun je duidelijk zien dat er een overlap is tussen beide jaren. Er is dus geen significant verschil tussen beide jaren.
Er is nog wel meer mis met dit onderzoek. Tom Louwerse van de Universiteit Leiden (@tomlouwerse) ontdekte een paar merkwaardige grafieken. Een voorbeeld is de grafiek hieronder. Die brengt in beeld hoe de Nederlanders door de tijd heen denken over de macht die de koning zou moeten hebben.
De percentages in de staven zouden tot 100% moeten optellen. Toch zijn de staven niet allemaal even lang. De laatste drie staven zijn bijvoorbeeld korter dan de andere staven. Dat wordt vermoedelijk veroorzaakt door afrondingsfouten in de percentages. Een slordigheidje.
Erger is dat de volgorde van de jaren in de grafiek wel heel vreemd is. Je zou verwachten dat de jaren oplopen of aflopen, maar dat is niet zo. Het is niet duidelijk welke logica er dan wel achter de volgorde zit. Door het ontbreken van een logische volgorde is het moeilijk om trends in de tijd te zien.
In de grafiek hieronder zijn de fouten verbeterd. Nu lijkt er een duidelijke trend in de tijd te zijn dat steeds meer Nederlanders vinden dat de koning meer macht moeten krijgen. Maar ook hier is het weer opletten, want deze cijfers hebben immers flinke onzekerheidsmarges.
