Hoe groot is het vertrouwen in de NOS eigenlijk?
Bijna 90% van de Nederlanders heeft vertrouwen in de NOS als publieke nieuwsorganisatie. Dat bleek uit een onderzoek dat door het Amerikaanse Pew Research Center in december 2017 in acht Europese landen is gehouden. De NOS scoort daarin erg hoog. Alleen de Zweden hebben meer vertrouwen in hun publieke nieuwsorganisatie (SVT). Een interessant onderzoek. Maar kloppen de uitkomsten wel?
Op de website van Pew kunnen we het een en ander vinden over opzet en uitvoering van hun onderzoek. Wat meteen opvalt, is dat in alle acht landen een telefonisch peiling is gehouden. Dus ook in Nederland. Dat is verrassend, want er wordt nog maar weinig telefonisch gepeild in ons land. De meeste grote onderzoeksbureaus hebben een online panel waaruit ze een steekproef trekken. Dus alles gaat online. In Engeland hebben ze, naast online peilingen, nog wel telefonische peilingen. En hetzelfde geldt voor de VS.
Er zijn problemen met telefonisch peilingen. Dat bleek bijvoorbeeld bij de parlementsverkiezingen in Engeland in 2015. Alle peilingen (zowel de online peilingen als de telefonische peilingen) zaten er met hun prognoses systematisch naast. Ze voorspelden een nek-aan-nekrace tussen Labour en de Conservatieven, maar het werd een ruime overwinning voor de Conservatieven. De British Polling Council onderzocht deze ‘polling disaster’. De onderzoekers concludeerden dat de telefonische peilingen niet representatief waren als gevolg van de hoge non-respons.
Het is lastig om een goede steekproef te trekken voor een telefonische peiling. Op het eerste gezicht zou je kunnen denken aan het loten van een aselecte steekproef uit het telefoonboek. Dit is echter niet zo’n goed idee. Lang niet iedereen staat immers in het telefoonboek. Wat je aantreft, is een deel (hooguit zo’n 60%) van de vaste nummers. De nummers van mobiele telefoons staan er helemaal niet in. Een groot deel van de doelpopulatie ontbreekt dus. Deze onderdekking kan leiden tot ernstige vertekeningen in de uitkomsten. Het zijn, bijvoorbeeld, vooral jongeren die alleen nog maar een mobiele telefoon hebben. Deze jongeren ontbreken dus in de steekproef.
Om een goede steekproef te krijgen, maken onderzoekers meestal gebruik van een vorm van Random Digit Dialing (RDD). Dat wil zeggen dat ze met de computer willekeurige telefoonnummers genereren. Voor de peiling van Pew zijn twee RDD-steekproeven gebruikt. 45% van de steekproef bestond uit willekeurige vaste nummers (gestratificeerd naar provincie) en 55% bestond uit willekeurige mobiele nummers (gestratificeerd op provider). Bij een geselecteerd vast nummer werd een willekeurige persoon op dat adres geloot. En bij een geselecteerd mobiel nummer werd de persoon geselecteerd die de telefoon opname. Merk op dat deze aanpak ertoe leidt dat niet iedereen dezelfde kans heeft om in de steekproef te komen. Personen met zowel een vaste als een mobiele telefoon hebben een dubbel zo grote kans als personen met maar één telefoon. Daarvoor moet je corrigeren. Dat heeft Pew ook gedaan.
Een groot probleem van telefonische peilingen is de steeds lager wordende respons. Non-respons kan tot vertekeningen in de uitkomsten leiden. Een lagere respons leidt tot een grotere vertekening. Helaas, de respons van telefonische peilingen wordt steeds lager. Volgens een rapport van Pew uit 2012 (Assessing the Representativeness of Public Opinion Surveys) is de respons in telefonische peilingen met RDD in de VS gedaald van 36% in 1997 tot nog maar 9% procent in 2012. Hetzelfde beeld is te zien in het Verenigd Koninkrijk. Respons ligt ook daar onder de 10%. En in stedelijke gebieden is de respons nog lager.
Hoe groot is de non-respons dan in het onderzoek van Pew over publieke nieuwsmedia? Die informatie was niet op de website van Pew te vinden. Na enige aandringen stelde Pew ze toch beschikbaar. De responspercentages per land staan in de grafiek hieronder.
De responspercentages zijn wel heel erg laag. Denemarken heeft nog de hoogste respons (12,4%). De respons is aanzienlijk lager in Nederland (slechts 7,7%). En in Duitsland is het wel heel treurig met een respons van slechts 2,8%. Er is amper nog enige respons over. Met zo’n lage respons loop je een groot risico verkeerde conclusies te trekken uit het onderzoek.
Er zijn flinke verschillen tussen de responspercentages van de verschillende landen. Zo is de respons in Denemarken bijna 10 procentpunten hoger dan de respons in Duitsland. Dat maakt het lastig om verschillen tussen landen te duiden. Je kunt immers niet meer vaststellen of een verschil tussen twee landen een ‘echt’ verschil is of dat het verschil veroorzaakt is door verschillen in respons.
Non-respons tast de representativiteit van de uitkomsten aan. Je kunt proberen hiervoor te corrigeren door een weging uit te voeren. Dat hebben de onderzoekers van Pew ook gedaan. Ze hebben de peiling representatief gemaakt met betrekking tot geslacht, leeftijd, opleiding, provincie en trekkingskans. Het is nog maar de vraag of deze beperkte weging voldoende is om de desastreuze effecten van non-respons hiermee voldoende te corrigeren.
Dus voorzichtigheid is geboden met de uitkomsten van dit onderzoek. Daar komt nog bij dat je rekening moet houden met onzekerheidsmarges. Zelfs al zou er geen non-respons zijn, dan nog moet je rekening houden met marges van twee tot drie procentpunten. Dus het zou best kunnen zijn dat in werkelijkheid Nederland op 1 staat en Zweden op 2. En bij de groep van landen Duitsland, Denemarken en Engeland zijn de verschillen ook niet significant. Dus binnen die groep kan de werkelijke volgorde anders zijn.
De conclusie moet dus luiden dat je erg voorzichtig moet zijn met de uitkomsten van dit onderzoek. Door de zeer lage respons van de telefonische peiling geven de cijfers vermoedelijk geen correct beeld van de situatie.
