PeilingPraktijken

‘Namens Nederland is jouw kans om mee te beslissen over de toekomst van Nederland. Om echt je mening te geven, veel uitgebreider dan eens in de paar jaar in een stemhokje. Namens Nederland zijn we allemaal. En Namens Nederland heeft maar een doel: erachter komen wat Nederland voor Nederland wil’. Dat is de ambitieuze omschrijving van het project ‘Namens Nederland’. Maar wat stelt dit opinieonderzoek nu eigenlijk voor. Een nadere analyse.

Volgens de website www.namensnederland.nl is ‘Namens Nederland’ een onafhankelijk en belangeloos initiatief van McKinsey & Company, gesteund door De Telegraaf, RTL, SBS, FD, nudnik, CAVIAR, Motivaction, FNV, CNV, VNO-NCW, SCP, RET, HTM, NS en een aantal wetenschappers. Zij vinden het belangrijk dat de Nederlandse bevolking zich uitspreekt over de toekomst van Nederland en dragen elk belangeloos hun steentje bij.

Het onderzoek lijkt erg sterk op ’21minuten.nl’. Deze peiling werd ook opgezet door McKinsey. De peiling werd vanaf 2006 een paar jaar lang uitgevoerd. Er was toen een comité van aanbeveling waarin o.a. Ali B, Yvon Jaspers en Freek de Jonge zaten. Dat zijn geen wetenschappers , en dus was dit geen garantie dat het onderzoek goed in elkaar zat.

De onderzoeksopzet van ‘Namens Nederland’ is dezelfde als die van ’21minuten.nl’. Helaas is er iets ernstig mis met die onderzoeksopzet. De steekproef is niet geloot uit de Nederlandse bevolking, maar tot stand gekomen via zelfselectie. Iedereen die dat wil kan meedoen aan het onderzoek. Dat betekent dat vooral mensen meedoen die zo’n peiling leuk of nuttig vinden. Een selectieve groep dus. Destijds was er al kritiek op die onderzoeksopzet. Zie bijvoorbeeld .

Ook ‘Namens Nederland’ is gebaseerd op zelfselectie. Door deze aanpak is er geen sprake meer van een representatieve steekproef. Erger nog, het is mogelijk om de steekproef te manipuleren. Zo kun je de vragenlijst zoveel keer invullen als je wilt. Er is kennelijk geen enkele mechanisme om dit te voorkomen (zoals een check op het IP-adres van de respondent).

Er zijn al eens pogingen gedaan om de uitkomsten van peilingen te manipuleren. Zo schreef Stijn Bronzwaer op 13 september 2012 in het NRC over een poging van 2500 mensen om de peiling van Maurice de Hond te beï nvloeden. Ze wilden aanvankelijk aangeven op het CDA te stemmen, en dan later overstappen naar 50PLUS. Deze poging tot manipulatie werd ontdekt toen wel erg veel mensen tegelijk zich opgaven voor het panel van de Hond.

En tijdens de campagne voor de gemeenteraadsverkiezingen in Amsterdam in januari 2014 wilde Het Parool peilen welke lijsttrekker het Eerste Grote Lijsttrekkersdebat had gewonnen. Helaas deed de krant dat met een peiling op basis van zelfselectie. De campagneteams van twee partijen ontdekten dat ze zo vaak konden stemmen als ze wilden, en dus bleven ze dat de hele nacht doen. De volgende ochtend bleken de lijsttrekkers van deze partijen heel veel meer stemmen te hebben gehad. Het Parool concludeerde dat er iets mis was en haalde de peiling uit de lucht. Kijk hier voor meer achtergronden.

Als de steekproef niet door zelfselectie tot stand komt, maar netjes wordt geloot, dan kunnen deze problemen zich allemaal niet voordoen. De onderzoeker houdt de controle over de steekproef. Iemand kan maar 1 keer in de steekproef komen, en door te loten wordt die steekproef bovendien representatief.

Zelfselectie levert dus een selectieve groep Nederlanders op. Daardoor zijn de uitkomsten geen afspiegeling van de mening Nederlandse bevolking. De onderzoekers zullen ongetwijfeld proberen om de uitkomsten te corrigeren voor het gebrek aan representativiteit. Daarvoor zal een weegprocedure worden uitgevoerd. Het is echter nog maar de vraag hoe effectief deze aanpak zal zijn. Daarom zegt de AAPOR (American Association of Public Opinion Research), de grote club van Amerikaanse peilers, dan ook over dit soort onderzoek:

‘Only when a web-based survey adheres to established principles of scientific data collection can it be characterized as representing the population from which the sample was drawn. But if it uses volunteer respondents, allows respondents to participate in the survey more than once, or excludes portions of the population from participating, it must be characterized as unscientific and is unrepresentative of any population’.

Bij de onderzoekers van ‘Namens Nederland’ leeft kennelijk het idee dat de problemen wel zullen verdwijnen als maar genoeg mensen meedoen aan het onderzoek. Ze zeggen in de vragenlijst: ‘Als 100.000 Nederlanders net als jij deze vragenlijst invullen krijgen we een goed beeld over wat we als Nederlanders willen veranderen voor de toekomst en kunnen we direct aan de slag met het voor elkaar krijgen ervan’. En ook zeggen ze: ‘Hoe meer Nederlanders de vragenlijst invullen, hoe krachtiger de antwoorden en hoe dichter we bij een betere toekomst van Nederland komen’. Helaas zijn deze uitspraken onjuist. De vertekening in de uitkomsten ten gevolg van zelfselectie verdwijnt niet door een grote steekproef. De vertekening is namelijk onafhankelijk van de grootte van de steekproef.

Misschien helpt het volgende gedachte-experiment nog een beetje. Stel dat een onderzoeker wil weten op welke manier mensen naar hun werk gaan (lopend, fiets, auto, openbaar vervoer). Hij wil snel een flink aantal mensen interviewen. Daarom trekt hij geen steekproef uit de bevolking, maar hij gaat in de ochtendspits naar het Centraal Station in Amsterdam. En wat blijkt? Vrijwel iedereen gaat met de trein naar zijn werk! Hij merkt echter op dat de steekproef niet representatief is. Er zitten veel te veel jongeren in en veel te weinig ouderen. Dus voert hij een weging uit om je steekproef representatief te maken met betrekking tot leeftijd. Maar daarna gaat nog steeds iedereen met de trein naar zijn werk! De weging werkt dus niet.

Er is natuurlijk niets op tegen om aan ‘Namens Nederland’ mee te werken, maar pas op met de uitkomsten van dit onderzoek. De uitgangspunten zijn wel erg ambitieus. Het zit er dik in dat de conclusies geen goede afspiegeling vormen van de mening van de Nederlanders over allerlei zaken.