De valkuilen van het peilen van groepen met een migratieachtergrond
Het is altijd lastig om groepen te peilen met een migratieachtergrond. Dit komt om je heel vaak geen aselecte steekproef uit die groepen kunt trekken. Dat was ook weer goed te zien bij een peiling die is gedaan rondom het Turkse referendum. De uitkomsten zaten er behoorlijk naast.
Het Turkse referendum werd op 16 april 2017 gehouden. Ook Turken in het buitenland konden stemmen. In opdracht van de Volkskrant voerde Ipso een peiling uit onder Turkse Nederlanders. In deze peiling ging het over de verhouding tussen Turkije en Nederland en het stemgedrag bij het referendum.
De eerste grafiek hieronder gaat over de opkomst bij het referendum. Waren de Turken in Nederland van plan te gaan stemmen? In de peiling gaf 60% van de respondenten aan zeker te gaan stemmen. In werkelijkheid ging maar 47% stemmen. Een verschil van 13 procentpunten dus. De omvang van de steekproef was slechts 561. Dit betekent een onzekerheidsmarge van 4%. Dus de voorspelling van Ipsos had moeten luiden dat de opkomst zal liggen tussen 56% en de 64%. Deze voorspelling zat ernaast. Ipsos voelde deze bui kennelijk al aankomen, want in het onderzoeksverslag stond dat de ervaring van Ipsos leert de opkomst vaak te hoog wordt geschat.
Ipsos vroeg ook aan de stemmers of ze voor of tegen de grondwetswijziging gingen stemmen. Uit de peiling bleek dat van de zekere stemmers 60% voor ging stemmen, 33% tegen en de rest (7%) wist het nog niet. In de grafiek hieronder zijn deze cijfers van Ipsos vergeleken met de werkelijke uitslag. Het percentage voorstaanders onder de Turkse Nederlanders bleek gelijk te zijn aan 71% en dat is aanzienlijk hoger dan het percentage voorstanders in de peiling van Ipsos.
Er moet wel worden opgemerkt dat 7% van de stemmers in de peiling van Ipsos het nog niet wist. Het zou kunnen zijn dat deze mensen niet zijn gaan stemmen. Dan zou het percentage voorstanders 65% zijn geweest. Dat is ook te laag. Hetzelfde percentage zou je krijgen als je de mensen die het niet weten naar rato verdeeld over voor- en tegenstanders. Als die 7% gaat om mensen die in de peiling niet durven toe te geven dat ze tegen zijn (maar wel tegen stemmen), dan wordt het percentage 60%. En in het geval dat de 7% alleen bestaat uit voorstanders kom je uit op 67% voorstanders in de peiling. Kortom, in de peiling wordt het percentage voorstanders van grondwetswijziging te laag geschat.
Waarom is het lastig om een groep met een migratieachtergrond te peilen? Het probleem is dat een representatieve steekproef vereist dat je een aselecte steekproef uit de groep trekt. Maar hoe doe je dat als er geen lijst aanwezig is met namen, adressen, telefoonnummers of e-mailadressen. Ipsos had dus geen lijst met alle Turkse Nederlanders, en kon dus geen aselecte steekproef trekken. Ipsos probeerde dit probleem op te lossen door drie steekproeven te trekken en te combineren: een online steekproef, een telefonische steekproef en een face-to-face steekproef.
De eerste en grootste steekproef was een steekproef uit het online panel van het Opiniehuis. Daarin zitten ongeveer 56.000 personen, waaronder 12.500 Turkse Nederlanders. Het panel is niet op aselecte wijze tot stand gekomen, maar de leden hebben zich op allerlei manieren zelf aangemeld, in reactie op advertenties gericht op de doelgroep, via sociale media, via netwerken, evenementen en partnerships. Het resultaat is een panel dat niet representatief is.
Om het gebrek aan representativiteit te repareren zijn twee aanvullende steekproef getrokken. De eerste aanvullende steekproef is een telefonische steekproef. Ipsos geeft niet aan hoe die telefonische tot stand is gekomen. In eerder onderzoek zijn de telefoonnummers geloot uit het online panel van het Opiniehuis. Aangezien dit panel niet representatief is, is de steekproef van telefoonnummers dus ook niet representatief.
De tweede aanvullende steekproef was een face-to-face steekproef. Er is bij mensen aangebeld. Er was geen sprake van een aselecte steekproef maar van een quotasteekproef. Er is net zo lang aangebeld (bijvoorbeeld bij elk derde huis) totdat de interviewer voldoende respons had in allerlei groepjes (quota).
Alle drie steekproeven bij elkaar leverde dus geen aselecte steekproef op. En de omvang van de steekproef was slechts 561 respondenten. Om wat te doen aan het gebrek aan representativiteit is een weging uitgevoerd naar geslacht, leeftijd, opleiding en regio. Het is de vraag of zo’n standaardweging wel effectief is.
In dit verhaal ging het om het gebrek aan representativiteit bij de peiling. Er zijn echter nog andere problemen, zoals het gebruik van vragenlijsten in verschillende talen. Het valt niet mee om vragenlijsten te ontwerpen die in verschillende talen op dezelfde manier worden begrepen. Dit kan makkelijk tot fouten leiden.
Samenvattend is grote voorzichtigheid geboden met het peilen van groepen met een migratieachtergrond.
