Terrorisme een groot probleem? Het is maar net hoe je het vraagt.

Wat is het grootste probleem waarmee het land op dit moment te maken heeft? Is dat terrorisme? Deze vraag wordt regelmatig gesteld in peilingen. In Amerika doen CNN en Gallup dat. Helaas stellen ze die vraag op een heel andere manier. Daarom krijgen ze ook heel andere antwoorden.

terrorist2

Je kunt een vraag in een peiling op twee manieren stellen: als een gesloten vraag en als een open vraag. Bij een gesloten vraag geef je een rijtje mogelijke antwoorden erbij. Daaruit kan de respondent er dan één of meer kiezen. Zo deed CNN/ORC dat in een (telefonische) peiling van begin September. De tekst van de vraag was:

Which of the following is the most important issue facing the country today? The economy. Terrorism. Illegal immigration. Health care. Education. The federal budget deficit. The situation in Iraq and Syria. Energy and environmental policies.

Op hetzelfde moment voerde ook Gallup een peiling uit. Daarin werd hetzelfde gevraagd, maar dan als open vraag. Er werd geen lijstje met mogelijke antwoorden gegeven. De respondenten moesten helemaal spontaan bedenken wat het grootste probleem was. De tekst van de vraag was:

What do you think is the most important problem facing this country today?

Een open vraag heeft het voordeel dat iedereen spontaan en in zijn eigen woorden kan antwoorden. De respondenten worden niet ‘gestuurd’. Lastig is het om al die open antwoorden te analyseren. Twee respondenten kunnen hetzelfde bedoelen maar dat toch heel anders formuleren. Het voordeel van een gesloten vraag is dat de respondenten geen mogelijke antwoorden over het hoofd zien. En de antwoorden kunnen heel simpel worden geanalyseerd. De onderzoeker moet er wel voor zorgen dat alle mogelijk onderwerpen in de lijst staan.

De peilingen van CNN en Gallup zijn op dezelfde manier uitgevoerd. In beide gevallen was er sprake van een telefonische peiling met aselect getrokken telefoonnummers (Random Digit Dialing). Bij beide peilingen was de respons even groot (1.017 respondenten bij Gallup en 1.014 bij CNN). En ook werden beide peilingen op vrijwel hetzelfde moment uitgevoerd (van 4 t/m 7 september 2014 bij Gallup en van 5 t/m 7 september bij CNN/ORC). Dus is de conclusie is bijna onontkoombaar dat verschillen in de antwoorden te wijten zijn aan verschillen in vraagstelling.

We gebruiken beide peilingen om na te gaan of de Amerikaanse bevolking terrorisme een groot probleem vindt. De eerste tabel bevat de uitkomsten van de CNN-peiling. Dit is peiling met de gesloten vraag.

ProbleemPercentage
The economy30%
Terrorism14%
Illegal immigrants12%
Health care11%
Education11%
Federal budget8%
Iraq and Syria7%
Energy4%
Other2%
Unsure1%

Terrorisme scoort hoog. 14% van de Amerikanen vindt dit het belangrijkste probleem. Er is maar één probleem dat belangrijker wordt gevonden, en dat is de economie. 30% van de respondenten vindt dit het belangrijkste probleem.

De tweede tabel bevat de uitkomsten van de Gallup-peiling. Er zijn veel verschillende onderwerpen genoemd. Soms kunnen die worden gegroepeerd. Deze tabel bevat alleen de top 4 en de score voor terrorisme. Omdat je zou kunnen denken dat ‘national security’ ook iets met terrorisme te maken kan hebben, is deze categorie er ook bij gezet. Al met al vindt niet meer dan 6% van de respondenten terrorisme het grootste probleem in het land. Dat is toch wel aanzienlijk minder dan de 14% in CNN-peiling.

ProbleemPercentage
Economy in general17%
Dissatisfaction with government18%
Unemployment / jobs12%
Immigration / illegal aliens12%
Terrorism4%
National security2%

Merk hierbij op dat de onzekerheidsmarge van een peiling met een steekproef van 1.000 personen hooguit 3% is. De verschillen tussen de peilingen zijn groter. Dus er is hier sprake van een ‘echt‘ verschil.

Kennelijk wordt terrorisme in Amerika een veel minder groot probleem gevonden als je er met een open vraag naar vraagt. Pas als je er expliciet naar vraag, vinden veel meer mensen het een probleem. Deze vergelijking maakt duidelijk dan het wat uitmaakt hoe je de vraag stelt. Daarom is het belangrijk om de vragenlijst van een peiling achteraf te kunnen inzien.