PeilingPraktijken

Volgens een peiling van Education First spreken Rotterdammers het beste Engels. Helaas zit de peiling niet goed in elkaar.

Als je de website van Education First bezoekt, dan wordt al snel duidelijk dat dit geen marktonderzoekbureau is, maar een taalinstituut dat wereldwijd cursussen aanbied. Dat betekent dat het instituut een zeker belang heeft bij de uitkomst van het onderzoek: als je kennis van de Engelse taal te wensen overlaat, kun je bij hen een cursus volgen. Het is dus oppassen met de objectiviteit van dit onderzoek.

Het blijkt dat het onderzoek van Education First is gebaseerd op de gegevens van 2,3 miljoen mensen in 100 verschillende landen. Dit is een grote groep, maar helaas is hij niet representatief. Die 2,3 miljoen mensen vormen namelijk geen aselecte steekproef. Het zijn mensen die spontaan een taaltest hebben gedaan op de website van Education First. Het taalinstituut geeft ook zelf toe dat de steekproef niet representatief is. In het onderzoeksrapport staat:

The test-taking population represented in this Index is self-selected and not guaranteed to be representative. Only those who want to learn English or are curious about their English skills will participate in one of these tests. This could skew scores lower or higher than those of the general population.

Er is nog een tweede probleem dat de representativiteit aantast. De gegevens zijn namelijk verzameld via een test op het internet. In Nederland is dat niet zo’n probleem. Daar heeft 96% van de huishoudens een aansluiting. In veel landen is de dekking van het internet veel lager. In bijvoorbeeld Bulgarije heeft maar 59% internet en in Roemenië is het met 68% al niet veel beter (cijfers van Eurostat over 2015). In dit soort landen kunnen dus heel veel mensen de taaltest niet doen. En de mensen die hem wel doen, zijn vast beter opgeleid dan de mensen die geen internet hebben. Er is dus sprake van een te rooskleurig beeld. Dat geeft Education First geeft dat ook toe:

In parts of the world where Internet usage is low, we would expect the impact of an online format to be strong. This sampling bias would tend to pull scores upward by excluding poorer and less educated people.

Dit jaar berekende Education First ook scores voor steden. Rotterdam scoorde het hoogst. In die stad spraken men kennelijk het beste Engels. Een waarschuwing is echter op zijn plaats. Education First meldt dat 400 steden en regio’s zijn onderzocht. Dat zijn vast niet alle steden in de wereld. Steden die niet hebben meegedaan, konden dus ook niet winnen. Dus je kunt niet met zekerheid conclueren dat Rotterdam de beste stad was.

Kortom, dit is geen goed onderzoek. Jammer dat media als AD, NOS, RTL, Hart van Nederland, en De Telegraaf er aandacht aan besteden zonder eerst te controleren of er wel sprake is van een methodologisch correcte peiling.