PeilingPraktijken

Elke jaar weer maakt het taalinstituut Education First (EF) de English Proficiency Index (EPI) bekend. De EPI meet hoe goed de inwoners van een land de Engelse taal beheersen. Het gaat hierbij om landen waarin Engels niet de moedertaal is. Landen als Nederland en Zweden scoren erg hoog. Ze komen meestal op de eerste of tweede plaats in de ranglijst terecht. In 2020 stond Nederland weer bovenaan, gevolgd door Denemarken en Finland. De vraag is echter hoe dit onderzoek naar Engelse taalvaardigheid in elkaar zit en of de uitkomsten wel representatief zijn voor de deelnemende landen. Is de aandacht die dit onderzoek van EF in de media krijgt, wel terecht? Tijd voor een nadere analyse.

In 2015 spraken wij Nederlanders volgens EF (bijna) het beste Engels van alle niet-Engelstalige landen. Alleen de Zweden deden het nog beter. Dat stond in een bericht in het AD van 3 november 2015. En de NOS kopte ‘Nederlander is wereldtop in Engels’. Zie ook: Na Zweden spreken wij het beste Engels. Klopt dit wel?.

Volgens EF beheersten in 2016 de Nederlanders de Engelse taal het best. Daarover werd uitgebreid bericht door de NOS (op 15 november 2016). De kop boven het artikel was nogal uitbundig: ‘We rock! Nederlanders beheersen de Engelse taal het best’. Zie ook: Beheersen Nederlanders de Engelse taal echt het best?.

In 2019 berekende EF ook scores voor steden. Rotterdam bleek toen het hoogst te scoren. In die stad sprak men kennelijk het beste Engels. Een waarschuwing is echter wel op zijn plaats. EF onderzocht hiervoor 400 steden (en regio’s). Dat waren vast niet alle steden in de wereld. Volgens de VN waren er (in 2018) meer dan 1.800 steden met meer dan 300.000 inwoners. Een heleboel steden deden dus niet mee. En steden die niet meededen, konden ook niet winnen. Dus je kunt niet concluderen dat Rotterdam de beste stad was. Zie ook: Beheersen-Rotterdammers de Engelse taal echt het best?.

Overigens was in 2020 Rotterdam geheel uit de ranglijst van steden verdwenen. Amsterdam stond nu op de tweede plaats, achter Kopenhagen.

Uit een bezoek aan de website van EF wordt onmiddellijk duidelijk dat dit geen marktonderzoekbureau is, maar een taalinstituut dat wereldwijd cursussen aanbied. Op de website kun je testen hoe goed je Engels is. Dit betekent dat het instituut belang heeft bij de uitkomsten van het onderzoek: als je kennis van de Engelse taal te wensen overlaat, kun je bij hen een cursus volgen. Het is dus oppassen met de objectiviteit van de onderzoekers.

Op 17 november 2020 publiceerde EF de uitkomsten van de English Proficiency Index (EPI) voor 2020. Het onderzoek was gebaseerd op de gegevens van 2,2 miljoen mensen in 100 verschillende landen en regio’s. Dit is een hele grote groep, maar helaas is hij niet representatief. Die 2,2 miljoen mensen vormen namelijk geen aselecte steekproef. Het zijn alleen maar mensen die spontaan een Engelse taaltest hebben gedaan op de website van EF.

EF heeft voor al die landen de English Proficiency Index (EPI) berekend. Dat is de gemiddelde vaardigheid met het Engels voor alle volwassenen die de taaltest hebben gedaan op de website. Tot en met 2019 was de EPI is een getal tussen de 0 en 100. In 2020 veranderde EF de berekening van de index. Vanaf dat jaar is het een score tussen de 0 en 800. Dat is erg onhandig als de trends door de jaren heen wilt bestuderen.

De tabel hieronder bevat de top drie van landen met de hoogste score voor de jaren 2015 t/m 2020.

De waarde van de index varieert in de periode van 2015 t/m 2019 tussen de 67,93 en de 72,16. De scores liggen dus dicht bij elkaar. In de ranglijst is er sprake van stuivertje wisselen tussen Nederland, Zweden en Denemarken.

De vraag is nu of je uitkomsten van dit onderzoek kunt generaliseren naar de gehele bevolking van de landen. Kun je de gegevens zien als een aselecte steekproef uit de bevolking? Helaas niet. EF geeft ook zelf toe dat de steekproef niet representatief is. In het onderzoeksrapport staat:

The test-taking population represented in this Index is self-selected and not guaranteed to be representative. Only those who want to learn English or are curious about their English skills will participate in one of these tests. This could skew scores lower or higher than those of the general population.

De steekproef bestaat dus uit mensen die Engels willen leren, willen weten hoe goed hun Engels is, de website van EF hebben bezocht en daar een taaltest hebben gedaan. Dat is duidelijk geen goede afspiegeling van de bevolking van de landen.

Er is nog een tweede probleem dat de representativiteit aantast. De gegevens zijn namelijk verzameld via een test op het internet. In Nederland is internet niet zo’n probleem. Volgens cijfers van Eurostat (het statistische bureau van de EU) heeft 98% van de Nederlandse huishoudens internet (cijfers van 2019). Dat is bijna iedereen. En ook in Scandinavië hebben veel huishoudens internet: in Zweden 96% en in Denemarken 95%.

In veel andere landen is de dekking van het internet echter veel lager. Volgens Eurostat heeft bijvoorbeeld in Bulgarije maar 75% internet, in Griekenland is het 79% en in Portugal (71%) is het al niet veel beter (cijfers van Eurostat over 2019). In dit soort landen kunnen dus heel wat mensen de taaltest niet doen. En de mensen die hem wel doen, zijn vast beter opgeleid dan de mensen die geen internet hebben. Er is dus sprake van een te rooskleurig beeld. Dat geeft EF ook toe in het onderzoeksrapport:

People without Internet access would be automatically excluded. In parts of the world where Internet usage is low, we would expect the impact of an online format to be strong. This sampling bias would tend to pull scores upward by excluding poorer and less educated people.

Merk ook op dat de drie landen die meestal in de top drie staan (Nederland, Zweden en Denemarken) ook de landen zijn met de hoogste internetdekking (95% tot 98%).

Welke land beheerst de Engelse taal nu het best? Is het Nederland, of Zweden, of misschien Denemarken? Om daar wat meer inzicht in te krijgen, hebben we een grafiek gemaakt van de gegevens in de tabel. Het zijn de scores van de beste drie landen in de jaren van 2015 t/m 2019. Door de verandering in de definitie van de EPI in 2020 konden we die scores niet meenemen in de analyse. Zie de dot-plot hieronder:

Het eerste dat opvalt is dat de scores van Nederland, Zweden en Denemarken erg dicht bij elkaar in de buurt liggen, zo rond de 70. Nederland heeft drie keer de hoogste score (in 2016, 2017 en 2019). Zweden scoort twee keer het beste (in 2015 en 2018). Denemarken scoort niet het beste, maar ligt wel heel dicht bij Nederland en Zweden in de buurt.

Je kunt je afvragen waar de jaarlijkse schommeling in scores vandaan komt. Het lijkt onwaarschijnlijk dat de taalvaardigheid van een land van jaar op jaar ineens verandert. Het zal eerder liggen aan een andere samenstelling van de (niet-representatieve) steekproef.

Je kunt je ook afvragen of de verschillen per land echte (significante) verschillen zijn of dat het slechts gaat om ruis van de steekproef is. Om hier achter te komen, zou je onzekerheidsmarges moeten berekenen. Dat hebben de onderzoekers helaas niet gedaan.

Bedenk hier bij dat de omvang van de totale steekproef (2,2 miljoen personen) weliswaar heel groot is, maar er doen ook veel landen (100) mee, zodat de steekproef per land aanzienlijk kleiner is. Er zouden dus best nog behoorlijke onzekerheidsmarges kunnen zijn.

Kortom, dit is geen goed onderzoek. Het is eerder een reclamecampagne voor taalcursussen. Jammer dat media als het AD en de NOS er aandacht aan hebben besteed zonder het bericht eerst te controleren op correcte toepassing van de methodologie. EF doet dit onderzoek jaarlijks met dezelfde onderzoeksopzet. In 2015 berichtten het AD en de NOS al over dit onderzoek. En ook toen was er al kritiek. Daarbij maakte AD ook nog de fout te melden dat in 2015 Denemarken bovenaan stond. Dit was niet juist. Het was Zweden.