Hoe representatief was de peiling onder de jonge Turken en Marokkanen?
Op 11 november 2014 voerde onderzoeksbureau Motivaction een peiling uit onder Turkse en Marokkaans Nederlanders tussen de 18 en 35 jaar. Het onderzoek werd gedaan in opdracht van het multiculturele instituut Forum. Uit de peiling bleek dat verreweg de meeste jonge Turkse Nederlanders Syrië-gangers zien als helden (90%) en 72% staat achter de opmars van IS. Maar is dit onderzoek eigenlijk wel representatief?
De politiek reageerde geschokt op deze uitkomsten. Minister Asscher van Sociale Zaken noemde de uitkomsten ‘zeer verontrustend’.
Als de uitkomsten van een peiling zo de aandacht trekken is het altijd goed om eerst even te kijken naar de manier waarop die peiling is uitgevoerd. Gelukkig is er een rapport waarin dit redelijk goed staat beschreven. Zie ‘Nederlandse Moslimjongeren en de Arabische Herfst, FORUM Verkenning, november 2014‘.
Het blijkt dat Motivaction voor de peiling geen nette aselecte steekproef heeft geloot uit de populatie van alle Moslimjongeren, maar gebruik heeft gemaakt van een quota-steekproef. In het rapport wordt dit als volgt omschreven:
Voor het face-to-face-veldwerk is met quotalijsten gewerkt. Voor het face-to-face-veldwerk zijn verschillende wervingsmethodes ingezet: bij moskeeën, bij supermarkten, in winkelstraten, bij theehuizen, bij onderwijsinstellingen, bij sportverenigingen, bij buurthuizen en bij de respondenten thuis. Alle interviews hebben op een rustige plek plaatsgevonden, waarbij respondenten niet door anderen konden worden beïnvloed. Daar waar nodig, is het interview in het Turks, het Marokkaans-Arabisch of het Berbers uitgevoerd.
Bij quota-steekproeven wordt dus niet geloot, maar wordt ervoor gezorgd dat bepaalde quota mensen in de juiste verhouding aanwezig zijn in de steekproef. Voor de peiling onder Moslimjongeren heeft Motivaction quota gemaakt op basis van de variabelen leeftijd, opleiding, geslacht en etniciteit. Dat zorgt ervoor dat de steekproef representatief is met betrekking tot deze variabelen. Helaas is het bij quota-steekproeven zo dat dit geen enkele garantie geeft dat de steekproef ook representatief is met betrekking tot de belangrijke onderzoeksvariabelen.
Al in 1934 toonde de bekende Poolse wetenschapper Jerzy Neyman aan dat een steekproef op basis van loting superieur is boven een quota-steekproef. Hij noemde dat toen nog niet quota sampling, maar purposive sampling. Zie ‘On the Two Different Aspects of the Representative Method: The Method of Stratified Sampling and the Method of Purposive Selection’, Journal of the Royal Statistical Society, 1934‘.
De quota-steekproef doet het wel beter dan een totaal verkeerde steekproef trekken. Dat bleek tijdens de campagne voor de Amerikaanse presidentsverkiezingen in 1936. Het ging tussen de Democraat Franklin Roosevelt en de Republikein Alf Landon. Het tijdschrift Literary Digest deed een peiling op basis van een steekproef van maar liefst 2,4 miljoen Amerikanen. Maar aangezien de adressen allemaal afkomstig waren uit lijsten van auto-eigenaren en telefoonboeken, waren dit allemaal mensen die het wat beter hadden, en die stemden overwegend Republikeins. De Republikeinen waren dus zwaar oververtegenwoordigd. En dus kwam Alf Landon als winnaar uit de peiling. Een andere peiler, George Gallup, trok een quota-steekproef van ‘slechts’ 50.000 Amerikanen. De quota waren gevorm op basis van sociaal-economische klasse, geslacht, en stad/platteland. Deze peiling voorspelde dat Franklin Roosevelt zou winnen. En het werd Roosevelt. Daarbij moet worden aangetekend, dat de voorspelling van Gallup er toch nog 5% naast zat (56% in plaats van 61%), maar het verschil tussen Roosevelt en Landon was zo groot dat Gallup toch nog met de goede winnaar kwam.
In 1948 ging het mis met de quota-steekproeven van Gallup. Toen voorspelde deze peiler dat Thomas Dewey de presidentsverkiezingen zou winnen en niet Harry Truman. De krant waren zo overtuigd van de kwaliteit van de voorspelling van Gallup dat ze al in vroege edities meldden dat Dewey de verkiezingen had gewonnen. Maar het werd Truman. De quota-steekproeven van Gallup bleken niet betrouwbaar te zijn. Nadere analyses achteraf toonden aan dat de Republikeinen voortduren oververtegenwoordigd waren in deze steekproeven. Meer over deze opiniepeilingen is bijvoorbeeld te vinden in Deugdelijke peilingen
Een ander, simpel, voorbeeld uit de praktijk laat nog eens zien wat er mis kan gaan met quota-steekproeven. Een lokale omroep wilde weten of de inwoners van de gemeente wel luisterden naar de omroep, en naar welke programma’s. Daarvoor werd een peiling opgezet. Interviewers gingen op zaterdagmiddag naar het plaatselijke winkelcentrum en legden het winkelende publiek een vragenlijst voor. Zo had men binnen korte tijd lekker veel gegevens verzameld. Maar wat bleek bij de analyse van de verzamelde gegevens? Niemand luisterde naar het sportprogramma dat op zaterdagmiddag werd uitgezonden. Nog wiedes natuurlijk, want er werden alleen personen ondervraagd die op zaterdagmiddag aan het winkelen waren. Ook een quota-steekproef helpt dan niet. Ook al maak je quota van mannen en vrouwen, jonge mensen en oude mensen, enz., dan nog blijven het mensen die op zaterdag aan het winkelen zijn. De vertekening in de uitkomsten blijft.
En dan is er ook nog de non-respons. Die lijkt bij quota-steekproeven onder het tapijt te zijn verdwenen. Er zijn natuurlijk mensen die niet aan de peiling mee willen doen. Die zitten dus niet in de peiling. Heel vaak is het zo dat non-respondenten in peilingen afwijken van respondenten. Ze hebben een andere mening over allerlei zaken en willen die niet kenbaar maken. Hoe zit het met de peiling van Motivaction. Hoe groot was de non-respons? En is uitgezocht hoe selectief de respons was?
Samenvattend lijkt de conclusie gerechtvaardigd dat een quota-steekproef niet de beste manier is om een steekproef uit een populatie te trekken. Waar dat mogelijk is moet toch de voorkeur worden gegevens aan een aselecte steekproef (een steekproef die is geloot uit de populatie). Het is bijvoorbeeld denkbaar om een steekproef te loten uit het bevolkingsregister (GBA). Daaruit kunnen allochtonen worden geselecteerd omdat van iedereen het geboorteland (van de persoon zelf en van de ouders) vermeld staat. Aangezien de geboortedatum ook beschikbaar is, kan zo een nette steekproef van jonge Turkse en Marokkaans Nederlanders worden getrokken.
