PeilingPraktijken

49% procent van de Amerikanen vind dat president Obama zijn werk goed doet. Dat bleek uit een peiling van ORC International in opdracht van CNN waarvan de uitkomsten op 29 juli 2015 bekend werden gemaakt. Uiteraard is dit een schatting. De vraag is hoe goed deze schatting is? Daarvoor proberen we te achterhalen hoe deze peiling is uitgevoerd.

Zoeken naar informative over de opzet en uitvoering van deze peiling levert op dat er 1017 respondenten waren. In het ideale geval (een nette aselecte steekproef zonder non-respons) betekent dit een foutmarge van ongeveer 3%. Die 49% had dus ook een andere waarde tussen 46% en 52% kunnen zijn.

Heel vaak vermelden media de foutmarge niet. CNN doet dit gelukkig wel. Al is het wel even zoeken. In bovenstaande figuur staat de foutmarge helemaal aan de rechterkant, in een heel klein lettertype, en amper leesbaar: sampling error: +/-3%. Dit zou wel wat duidelijker kunnen. Gelukkig staat de foutmarge ook nog een keer vermeld aan het einde van de tekst van het bericht op de website.

Verder zoeken op de website van CNN levert op dat het om een telefonische peiling ging. Er is een steekproef getrokken van zowel vaste nummers als mobiele nummers. Dit zou een redelijk aselecte steekproef kunnen zijn.

Problematisch is wel dat CNN niets meldt over non-respons in het onderzoek. Die moet er zijn geweest. Als veel mensen weigeren mee te doen aan een peiling, dan kunnen de uitkomsten een systematische afwijking hebben. En die afwijking kan groter zijn naarmate het percentage respons lager is. Er zijn berichten dat het slecht gaat met de respons in telefonische peilingen in Amerika. Uit onderstaande tabel van het Pew Research Centre blijkt dat het percentage respons in vijftien jaar is gekelderd van 36% naar slechts 9%. Dat betekent dat er dus wel eens ernstige afwijkingen kunnen zitten in de uitkomsten van telefonische peilingen.

Concluderend moet je je afvragen of het nog wel zinvol is om telefonische peilingen te doen als de respons zo laag is. Er is een trend om steeds meer gebruik te gaan maken van internet peilingen. Maar als die peilingen zijn gebaseerd op zelfselectie van respondenten in plaats van op een aselecte steekproef, dan zullen de uitkomsten niet veel beter zijn.