Handen omhoog voor de radio, maar toch ook weer niet
De handen gingen op maandag 19 november 2018 in de lucht bij Jurgen van den Berg, presentator van het NOS Radio 1 Journaal. Want uit een peiling van onderzoeksbureau Newcom zou blijken dat radio het meest vertrouwde medium is. Helaas bleek het allemaal wat genuanceerder te liggen, want hij was vergeten rekening te houden met de onzekerheidsmarges van de peiling.
De cijfers waren afkomstig uit de Media Vertrouwensmonitor 2018 van onderzoeksbureau Newcom. Dit bureau concludeerde dat gebrek aan vertrouwen de belangrijkste reden is waarom mensen steeds minder gebruik maken van Facebook. Verder bleek 64% van de respondenten vertrouwen te hebben in de radio en 62% in de tv. Hieruit trok Jurgen van den Berg de conclusie dat de meeste mensen vertrouwen hebben in de radio. Dat mag dan wel zo zijn in de grafiek, maar dat hoeft niet automatisch ook te gelden voor de Nederlands bevolking als geheel. Het gaat hier immers om schattingen op basis van een steekproef. En die hebben onzekerheidsmarges.
De schatting voor de radio (64%) heeft een onzekerheidsmarge van 2,7%. Dit betekent dat het percentage voor alle Nederlanders met grote waarschijnlijkheid ligt tussen 61,3% en de 66,7%. De onzekerheidsmarge voor de tv blijk 2,8% te zijn. Dus ligt het percentage voor alle Nederlanders met grote waarschijnlijk tussen de 59,2% en de 64,8%. Er zit een flinke overlap tussen beide intervallen. We kunnen dus niet concluderen dat er een significant verschil is tussen de percentages voor radio en tv. Het zou net zo goed andersom kunnen zijn: een hogere score voor de tv dan voor de radio. Jammer voor Jurgen van den Berg.
Het zou beter zijn geweest als de onderzoekers de onzekerheidsmarges van hun uitkomsten hadden opgenomen in het onderzoeksrapport. Daarmee voorkom je dat je verkeerde conclusies trekt uit de cijfers.
Onderstaande grafiek laat zien hoe dat zou kunnen. Aan het uiteinde van elke staaf van het staafdiagram zit een ‘harkje’. Dat harkje geeft de onzekerheidsmarge weer. Alles binnen een harkje kan dus heel goed de ‘ruis’ van de steekproef zijn. Alles binnen de marge is dus niet significant.
In onderstaande grafiek is duidelijk te zien dat de marges van radio en tv overlappen. We kunnen dus niet concluderen dat er een significant verschil is tussen de scores van radio en tv. We kunnen, bijvoorbeeld, wel concluderen dat de score voor sociale media significant kleiner is dan alle andere scores. Het harkje verlapt immers met geen enkel ander harkje.
We kunnen concluderen dat een waarschuwing op zijn plaats is bij het bekijken en interpreteren van de resultaten van peilingen. Dat is zeker het geval als een onderzoeker geen onzekerheidsmarges vermeldt. Vaak kun je de onzekerheidsmarge zelf bereken. De formule is niet zo ingewikkeld. Meestal (bij grote populaties) kun je onderstaande benaderingsformule gebruiken:
Een rekenmachientje is voldoende voor de berekeningen. En er zijn ook websites die ze voor je kunnen uitrekenen. Zie bijvoorbeeld: www.aselector.nl.
