PeilingPraktijken

Op vrijdag 26 augustus 2022 publiceerde Omroep Brabant de uitkomsten van een peiling over de politieke voorkeur van de kiezers in Noord-Brabant. Daaruit bleek (volgens de kop boven het bericht) dat Brabantse CDA-kiezers massaal overlopen naar BBB en Omtzigt. Helaas gaf het bericht geen enkele informatie over de manier waarop de peiling was opgezet en uitgevoerd. Je kon dus niet vaststellen of hier sprake was van een deugdelijk peiling. Daarmee komt de vraag op of de conclusies van de krant wel correct waren. Dit vraagt om een nadere analyse.

Brancheorganisaties van peilers (zoals MOA, AAPOR, ESOMAR, NCPP en WAPOR) dringen bij hun leden (peilers) aan op transparantie. Er moet altijd een onderzoeksrapport beschikbaar zijn met daarin een methodologische verantwoording van de opzet en uitvoering van de peiling. Met die informatie zou het mogelijk moeten zijn om de peiling op precies dezelfde manier te herhalen. En dat zou dan dezelfde uitkomsten moeten opleveren.

Omdat er totaal geen methodologische informatie in het bericht van Omroep Brabant stond, benaderde ik de regionale omroep met een verzoek om meer informatie. De reactie was nogal teleurstellend: “Jouw vraag hoe het onderzoek is uitgevoerd voor Omroep Brabant, moet ik je schuldig blijven. Misschien kun je jouw vraag beter richten aan onderzoeksbureau Newcom die het hebben uitgevoerd”. Dit is een merkwaardige reactie. Als je als mediaorganisatie onderzoek doet, dan hoor je te weten hoe je onderzoek in elkaar zit. Je moet immers kunnen vaststellen hoe goed of slecht je onderzoek is, en welke conclusies je dus wel of niet kunt trekken. Kennelijk wist Omroep Brabant niet hoe de peiling in elkaar zat. Toch berichtten ze daar uitgebreid over.

Als er geen onderzoeksrapport beschikbaar is, dan kun je proberen een goed beeld krijgen van de deugdelijkheid van een peiling te krijgen door een aantal vragen te stellen aan de onderzoekers. Dat is gebeurt voor het onderzoek van Omroep Brabant. De vragen zijn ontleend aan de “Checklist voor peilingen”.

Vraag 1: Is er een onderzoeksrapport waarin alle methodologische aspecten van de peiling zijn beschreven? Die informatie moet voldoende zijn om de vragen hieronder te beantwoorden. Helaas, de berichtgeving van Omroep Brabant bevatte geen enkele methodologische informatie. Na contact met Newcom kwam er toch wat summiere informatie. Maar die was onvoldoende om te kunnen vaststellen of het een goede of slechte peiling was. Newcom geeft aan ISO gecertificeerd te zijn (vermoedelijk ISO Norm 20252:2019). Dan moet je toch goede documentatie over de peiling kunnen produceren?

Vraag 2: Hoe is de steekproef precies getrokken? Is er sprake van een aselecte steekproef met gelijke kansen uit de doelpopulatie? Uit de summiere informatie kun je opmaken dat er geen aselecte steekproef is getrokken uit de volledige stemgerechtigde bevolking van Noord-Brabant.

Vraag 3: Indien er geen aselecte steekproef is getrokken, hoe is de steekproef dan getrokken? Is er, misschien sprake van een trekking uit een online panel? Hoe is die steekproef dan precies tot stand gekomen? Newcom geeft aan dat er een aselecte steekproef is getrokken uit een ISO-gecertificeerd online panel. Helaas wordt niet duidelijk gemaakt hoe het panel tot stand is gekomen. Veel van deze panels zijn gebaseerd op zelfselectie. Mensen melden zich spontaan aan omdat ze peilingen leuk vinden of zo een beetje kunnen bijverdienen. Deze zelfselectiepanels zijn meestal niet representatief. Newcom heeft een gestratificeerde steekproef getrokken uit het panel. Dat is prima, maar het dat helpt niet als het panel niet representatief is. Groepen die ontbreken in het panel, krijg je niet terug door stratificatie naar drie vrij algemene variabelen (geslacht, leeftijd en regio).

Vraag 4: Als een online panel is gebruikt, hoe is dit panel dan tot stand gekomen. Is het ontstaan als een aselecte steekproef uit alle kiesgerechtigden in Noord-Brabant? Of is het panel gebaseerd op zelfselectie (iedereen kan zich spontaan aanmelden voor het panel, zelfs mensen van buiten de doelgroep). Zoals al eerder gezegd, geeft Newcome geen informatie over de samenstelling van het panel. We kunnen dus niet vaststellen of het panel representatief is.

Vraag 5: Of is er misschien nog een andere wijze van trekken gebruikt? Je zou kunnen denken aan een telefonische peiling, een schriftelijke peiling of een face-to-face peiling. Nee, er is geen ander wijze van trekken gebruikt.

Vraag 6: Hoe groot was de bruto steekproef (het aantal personen dat is uitgenodigd voor de peiling)? Hoeveel personen daarvan hebben uiteindelijk meegedaan (de netto steekproef)? En hoe groot was dus het percentage respons? Newcom meldt niet hoeveel personen zijn uitgenodigd voor de peiling. Newcom meldt wel hoeveel personen (respondenten) hebben meegedaan: meer dan 800. Hoeveel meer is niet duidelijk. We kunnen dus niet het percentage respons uitrekenen. Als dat percentage laag is, loop je ernstig risico van vertekende uitkomsten. Merk ook op dat een steekproef van 800 niet echt erg groot is.

Vraag 7: Is geanalyseerd in hoeverre de non-respons leidde tot een selectieve respons? Anders.
gezegd: was de respons wel representatief? Newcom heeft vastgesteld dat de respons representatief is met betrekking tot opleidingsniveau en eerder stemgedrag. Voor andere variabelen is het niet duidelijk.

Vraag 8: Is er een correctie uitgevoerd voor het gebrek aan representativiteit? Bijvoorbeeld door middel van een weging (het toekennen van gewichten aan de respondenten)? Welke weegvariabelen zijn dan daarvoor gebruikt? Omdat de respons representatief was met betrekking tot opleidingsniveau en eerder stemgedrag vonden de onderzoekers correctie niet nodig. Dat is wel erg kort door de bocht. Het zou namelijk heel goed kunnen dat de respons selectief is ten opzichte van andere variabelen.

Vraag 9: Peilingen zijn meestal gebaseerd op een steekproef. Er is dus sprake van onzekerheid in de uitkomsten. Die onzekerheid moet je kwantificeren in de vorm van onzekerheidsmarges. Die marges worden nergens vermeld in de berichtgeving van Omroep Brabant. Zonder die onzekerheidsmarges kun je niet zeggen of verschillen ‘echt’ zijn of alleen maar ruis van de steekproef. Kortom, waar zijn de onzekerheidsmarges? Desgevraagd meldt Newcom dat de onzekerheidsmarges ruim onder de 4% liggen. Uiteraard moet je hierbij wel bedenken dat deze marges alleen gelden bij een nette, aselecte steekproef zonder selectieve non-respons. Dat is hier niet het geval. De onzekerheid zou bijvoorbeeld nog vergroot kunnen worden door selectieve respons.

Vraag 10: Is er een kopie van de vragenlijst beschikbaar? Is die vragenlijst getest? Zijn de vragen neutraal geformuleerd (geen sturende vragen)? Helaas is geen vragenlijst beschikbaar gesteld. Wel is duidelijk dat de onderzoekers hebben gevraagd naar het stemgedrag bij de vorige TK-verkiezingen. Je moet je dan afvragen wat de antwoorden op deze vraag eigenlijk voorstellen. Bij vragen naar stemgedrag in het verleden zijn respondenten het antwoord op die vraag vaak vergeten. Of ze geven bewust een ander antwoord (een sociaalwenselijk antwoord). Of ze zijn van mening veranderd en geven en het nieuwe antwoord. Kortom, als je wilt meten hoe de mening van de respondenten is veranderd, dan moet je heel voorzichtig zijn met de interpretatie van de antwoorden.

Aan het einde van deze analyse zijn nog veel onbeantwoorde vragen overgebleven. Die vragen bleven onbeantwoord omdat simpelweg de benodigde methodologische informatie ontbrak. Er was geen onderzoeksverslag. Newcom meldt dat hun online panel ISO gecertificeerd is. Dat lijkt mooi, maar het is de vraag wat je daar mee moet. Wat zegt die certificatie over de kwaliteit van de peiling? Wat zegt die over de validiteit (zuiverheid) en betrouwbaarheid (precisie) van de gepubliceerde cijfers? Nergens wordt de ISO certificatie uitgelegd. Dus kunnen we alleen maar concluderen dat de peiling van Omroep Brabant een twijfelachtige peiling is.