PeilingPraktijken

Nederlandse boeren wijzen massaal de trend naar megastallen af. Dat blijkt uit een onderzoek van de SP onder 841 boeren. Slechts 16 procent vindt megabedrijven een goede ontwikkeling. Vier van de vijf ondervraagde boeren heeft liever een handzaam, gemiddeld boerenbedrijf dan een megastal.

In oktober 2011 is de SP een langlopende enquête gestart onder de titel ‘De boer aan het woord’. Via persberichten, nieuwsbericht en agrarische nieuwsbrieven is publiciteit gegeven aan de website waar de enquête kon worden ingevuld.

De meeste boeren zijn bereikt via een directe mailing van adressen via de Kamer van Koophandel. Vooral de melkveehouders en intensieve veehouderijen zijn aangeschreven, omdat de enquête met name was gericht op de maatschappelijke discussies over de (intensieve) veehouderij met betrekking tot milieu, gezondheid, dierenwelzijn en schaalvergroting. Van deze mensen is de helft aangeschreven. Dit waren 12.759 adressen.

In mei 2012 zijn acht aanvullende vragen naar de respondenten van de enquête gestuurd. Het betroffen vragen over pensioenvoorzieningen, kredieten en arbeids-ongeschiktheidsverzekeringen.

841 Boeren hebben de enquête ingevuld. Dat is een respons van 6,5 procent. De aanvullende vragen zijn door 150 respondenten ingevuld.

Als je het uitgebreide rapport leest van dit onderzoek, dan krijg je het gevoel dat de SP heel veel energie in deze enquête heeft gestopt. Het is daarom jammer dat de onderzoeksopzet rammelt, waardoor de conclusies van het onderzoek met een korreltje zout moeten worden genomen. Voor het beoordelen van het onderzoek lopen we de ‘Checklist voor Peilingen’ door, die door het CBS is gemaakt samen met de VVOJ en de NPSO. Deze checklist kan van deze website worden gedownload.

Is duidelijk wie de opdrachtgever en/of financier van het onderzoek is?
Dat is duidelijk. Het is de SP. Het is van belang dat de opdrachtgever geen belang heeft bij bepaalde uitkomsten, want dat zou kunnen leiden tot manipulatie van de cijfers.

Is er een onderzoeksrapport waarin precies staat aangegeven hoe het onderzoek is opgezet en uitgevoerd?
Er is een uitgebreid onderzoeksrapport. Voor wat betreft de opzet van het onderzoek is het wat summier, maar je kunt er toch wel een redelijk beeld van krijgen.

Is duidelijk wat de doelpopulatie is?
Uit het rapport kun je afleiden dat het gaat om agrarische bedrijven die onder bepaalde SBI-codes staan ingeschreven bij de Kamer van Koophandel. Dit is duidelijk.

Is de vragenlijst in het rapport opgenomen en is deze van te voren getest?
De vragenlijst staat niet in het rapport. Je kunt de teksten van de vragen wel afleiden uit de titels van de tabellen . Het rapport bevat geen informatie over het testen van de vragenlijst. De meeste vragen zien er goed uit.

Hoe is de steekproef getrokken?
Dit is een zwak punt in het onderzoek. Er is geen aselecte steekproef getrokken. Er is een vragenlijst op het Internet gezet. Alle boeren zijn opgeroepen naar de desbetreffende website te gaan en de vragenlijst in te vullen. Via een directe mailing is aan bijna 13.000 boeren gevraagd de vragenlijst in te vullen. Daarin waren de veehouders oververtegenwoordigd. De steekproef is in feite door zelfselectie tot stand gekomen. Misschien konden ook wel mensen van buiten de doelpopulatie de enquête invullen, en zo de uitkomsten vervuilen. Deze aanpak van de gegevensverzameling maakt het lastig, zo niet onmogelijk, om valide en betrouwbare uitspraken te doen over de hele populatie van boeren.

Is de omvang van de gerealiseerde steek¬proef vermeld?
Ja, in totaal bedroeg de respons 841 boeren. Dat is erg weinig als je aan 13.000 boeren vraagt om mee te doen aan het onderzoek. Wellicht had de respons kunnen worden opgekrikt door de boeren een herinnering te sturen.

Is het percentage respons voldoende hoog, zeg hoger dan 50%?
Helaas, het percentage respons is bijzonder laag: 6,5%. Non-respons tast de representativiteit van een onderzoek aan. Naarmate het percentage respons lager is, zijn de problemen groter. We moeten daarom rekening houden met ernstige vertekeningen in de uitkomsten.

Is een correctie (weging) uitgevoerd voor de opgetreden non-respons?
Helaas is dit niet gebeurd. Met een weegprocedure had de representativiteit kunnen worden verbeterd. Uit het verslag blijkt dat bepaalde typen boeren oververtegenwoordigd zijn (veehouders). Ook grote boeren zijn oververtegenwoordigd. Daarvoor , en eventueel ook voor de landelijke spreiding, had de respons kunnen worden gecorrigeerd.

Worden onzekerheidsmarges in de uitkomsten vermeld?
Helaas worden geen onzekerheidsmarges vermeld. Gezien de geringe respons (841 personen) had dit zeker moeten gebeuren. Daarbij zou duidelijk zijn geworden dat de uitkomsten minder hard zijn dan ze nu lijken. Daar komt nog bij dat sommige vragen door maar 150 personen zijn beantwoord. Dit leidt tot nog grotere marges in de uitkomsten. Hierbij moet nog worden aangetekend dat de onzekerheidsmarges niet de vertekeningen meenemen die ontstaan door het gebrek aan representativiteit.

De onderzoekers proberen aan te tonen dat het niet zo slecht is gesteld met de representativiteit van het onderzoek door dit te vergelijken met een onderzoek van de NCRV en het LTO. En dan lijken de verschillen vaak niet zo groot. Zulke vergelijkingen zijn lastig. Is dezelfde doelgroep benaderd? Zijn dezelfde vragen gesteld? Zijn de vragen in dezelfde volgorde gesteld? Is het onderzoek op hetzelfde moment gehouden? En bij deze vergelijking wordt verondersteld dat het NCRV/LTO-onderzoek wel goed is uitgevoerd. In ieder geval citeert de SP de onderzoekers van het NCRV/LTO-onderzoek die zeggen dat hu steekproef van 3.029 personen voldoende is voor representatieve uitspraken. Helaas is dit een onzinnige uitspraak. De representativiteit hangt niet af van de omvang van de respons, maar van de samenstelling ervan.

Samenvattend kun je stellen dat het onderzoek een aantal methodologische tekortkomingen heeft. Dat is zonde, want met wat meer inspanning had het een goed onderzoek kunnen zijn.