De duistere praktijken van de Brabantse peilers

Brabantse boeren krijgen op grote schaal te maken met criminelen die hun schuur of loods willen gebruiken voor duistere praktijken. Zeker 13 procent is weleens gepolst om hieraan mee te werken en een kwart zegt verhalen te kennen van collega’s. Dat blijkt uit een peiling van Omroep Brabant waarbij agrariërs anoniem is gevraagd naar hun ervaringen. Het uitvoeren van een peiling over zo’n gevoelig onderwerp is best wel lastig. Daarom roept dit bericht de vraag op hoe deze peiling is uitgevoerd. Kloppen de uitkomsten wel?

De berichtgeving van Omroep Brabant levert maar bitter weinig informatie op over de opzet en uitvoering van het onderzoek. In de eerste plaatst meldt de website van de omroep dat er een periode van een aantal maanden 210 boeren om hun ervaringen is gevraagd. Daarvan hebben 123 boeren een reactie gegeven.

Hoe is de steekproef van 210 boeren getrokken? In het ideale geval zou er een lijst zijn van alle boeren in Noord-Brabant, waaruit je dan een aselecte steekproef kan trekken. Helaas bevat de berichtgeving geen enkele informatie over de trekking van de steekproef. Als er geen sprake is van een aselecte steekproef, dan is er geen enkele garantie dat dat de uitkomsten van het onderzoek een goede afspiegeling zijn van wat er in de provincie als geheel gebeurt.

Van de 210 boeren in de steekproef deden er dus maar 123 mee. Dat is een respons van 59%. Er is sprake van een flinke non-respons. Non-respons leidt bijna altijd tot vertekeningen in de uitkomsten van peilingen. Ook hier is dat heel goed mogelijk. Waarom zouden boeren niet mee willen doen aan het onderzoek? Hebben ze misschien iets te verbergen?

Om te corrigeren voor de akelige effecten van non-respons, is het beter om een weging uit te voeren. Daarbij maak je de respons representatief door aan de respondenten gewichten toe te kennen. Zo maak je de peiling representatief met betrekking tot een aantal kenmerken, en misschien dus ook wel met betrekking tot de belangrijke kenmerken van het onderzoek. Helaas bevat de informatie van Omroep Brabant geen enkele aanwijzing dat er inderdaad een weging is uitgevoerd.

Het is al eerder gezegd, je moet altijd rekening houden met de onzekerheidsmarges, want er zit ruis in de uitkomsten (door de steekproeftrekking). Zo zegt Omroep Brabant dat uit hun onderzoek blijkt dat 13% van de boeren wel eens is benaderd voor kwalijke praktijken. Die 13% heeft een onzekerheidsmarge van 6 procentpunten. Dus het is beter om te concluderen dat het percentage hoogstwaarschijnlijk ligt tussen 7% (13-6) en 19% (13+6).

Merk op dat er bij deze berekening vanuit is gegaan dat de steekproef netjes aselect is getrokken en dat de non-respons niet tot een vertekening heeft geleidt. In werkelijkheid kunnen de onzekerheden in de uitkomsten dus nog groter zijn.

Er zou dus nogal wat mis kunnen zijn met dit onderzoek. Daarom is Omroep Brabant om meer informatie gevraagd over opzet en uitvoering van hun onderzoek. Want alleen als onderzoekers voldoende transparant zijn, kun je de uitkomsten op juiste waarde schatten. Helaas heeft de omroep hierop niet gereageerd. Het lijkt daarom maar beter de berichten over dit onderzoek te negeren.

Update

Er is toch nog contact geweest met de onderzoekers. Dat leverde geen informatie op over de manier waarop het onderzoek is uitgevoerd. In tegendeel, de omroep deelde het volgende mee:

Het onderzoek van Omroep Brabant is tot stand gekomen in samenwerking met een externe partij. Over deze samenwerking kunnen wij helaas geen verdere mededelingen doen.

Er is dus geen enkele transparantie van Omroep Brabant. Misschien heeft de omroep wel iets te verbergen. Het is inderdaad beter dit onderzoek te negeren.