PeilingPraktijken

In peilingen kun je verschillende soorten vragen tegenkomen. Meestal is een vragenlijst van een peiling een mix van open, gesloten en numerieke vragen. Vooral gesloten vragen kom je veel tegen. Daarbij beantwoord je de vraag door het juiste antwoord in een lijstje van mogelijke opties te kiezen. Vooral als dit een lange lijst is, of de verschillende opties zijn niet zo heel relevant voor de respondenten, kunnen gesloten vragen problemen opleveren. De vragenlijst voor de volkstelling (census) in het Verenigd Koninkrijk bevat daarvan een mooi voorbeeld.

Heel veel landen in de wereld (niet Nederland) organiseren om de 10 jaar een volksstelling. Alle inwoners van een land moeten dan een vragenlijst invullen. In het Verenigd Koninkrijk (VK) vond de laatste volkstelling plaats in 2021. De resultaten daarvan komen nu beschikbaar. Ze worden gepubliceerd door het Office for National Statistics (ONS). Dat is het CBS van het VK.

Een belangrijke vraag in de volkstelling van het VK is die waarin je aangeeft wat je ‘national identity’ is. Daarmee geef je aan in welk deel van het VK je gevoelsmatig thuis hoort. Voorbeelden van nationale identiteiten zijn  Engels, Welsh, Schots, Noord-Iers, Brits, en Cornish (Cornwal). Figuur 1 hieronder toont de vraag zoals hij werd gesteld in de volkstelling van 2011.

De vraag bevat de verschillende mogelijke nationale identiteiten. Merk op dat Cornish niet apart wordt genoemd. Er is ook een categorie ‘Overige’. Daar kun je Cornish vermelden en eventuele andere (buitenlandse) identiteiten. Merk ook op dat je meer dan één identiteit mag aankruisen. Je zou bijvoorbeeld kunnen aangeven dat je je zowel Brits als Schots voelt.

10 jaar later, in 2021, was er weer een volkstelling in het VK. Ook dit keer werd gevraagd naar de nationale identiteit. En ook dit keer mocht je meer dan één antwoord kiezen. Zie de figuur 2.

Wat opvalt is dat de volgorde van de mogelijke antwoorden anders is geworden. Zo stond ‘British’ in 2011 bijna onderdaan, en in 2021 stond deze optie bovenaan. ‘English’ stond in 2011 bovenaan maar is in 2021 gezakt naar de tweede plaats.

In beide volkstellingen werd dus dezelfde vraag gesteld, maar de volgorde van de mogelijke antwoorden was anders. Is dat erg? Ja, helaas wel. Probleem is dat zich antwoordvolgorde-effecten (response order effects) kunnen voordoen bij gesloten vragen. Die effecten doen zich vooral voor als de lijst met mogelijke antwoorden lang is, of de verschillende opties niet zo interessant zijn voor de respondenten. In plaats van het correcte antwoord zorgvuldig op te zoeken in de lijst, kiezen ze snel een redelijk antwoord. Als enquêteurs het interview afnemen (zoals bij een face-to-face peiling of een telefonische peiling), dan lezen ze de lijst met mogelijke antwoorden op. Aan het einde van de lijst gekomen, zijn de respondenten de eerste antwoorden in de lijst alweer vergeten. Dus kiezen ze een antwoord aan het einde van de lijst, Dit noemen we een recency-effect. Een recency-effect is dus een tendens om een antwoord achteraan in de lijst te kiezen.

Bij een schriftelijke peiling of een online peiling is het precies andersom. Omdat er geen enquêteurs zijn, moeten de respondenten zelf de lijst met mogelijke antwoorden doorlezen en het juiste antwoord kiezen. Die respondenten zijn lang niet altijd even gemotiveerd om dat grondig te doen, vooral als de lijst lang is. Dat kan ertoe leiden dat ze al snel stoppen met lezen en een redelijk acceptabel antwoord vooraan in de lijst kiezen. Deze voorkeur voor een antwoord vooraan in de lijst noemen we een primacy-effect.

Bij een volkstellingen in het VK in 2011 en 2021 zijn de gegevens voor het overgrote deel online verzameld en voor een klein deel met papieren vragenlijsten. Er waren dus in beide gevallen geen enquêteurs aanwezig. En dus kunnen zich primacy-effecten voordoen.

Het ONS heeft dit uitgezocht. Het vergeleek de antwoorden op de vraag naar nationale identiteit voor beide volkstellingen. Het resultaat was het samengesteld staafdiagram in figuur 3. De grijze staven beschrijven de antwoorden in 2011 en de blauwe staven zijn de antwoorden in 2021.

Wat opvalt dat in beide volkstellingen het eerste antwoord in de lijst de hoogste score krijgt. In 2011 is dat 57,7% voor ‘English only identity’. En in 2021 is het 54,8% voor ‘British only identity’. Beide langste staven zijn dus ongeveer even lang, maar de staven hebben wel een heel andere betekenis. Dit zou een aanwijzing kunnen zijn dat hier sprake is van een primacy effect (voorkeur voor de eerste optie in de lijst. De beeld wordt nog versterkt als je kijkt naar de uitkomsten voor ‘British’ in beide volkstellingen. In 2011 stond deze optie bijna onderaan en koos slechts 19,1% hiervoor. In 2021 stond de optie bovenaan en koos maar liefst 54,8% voor ‘British’.

Het lijkt er dus op dat primacy effecten een rol hebben gespeeld bij het beantwoorden van deze vraag. Er zijn echter ook andere verklaringen denkbaar. Bedenk bijvoorbeeld dat er 10 jaar zat tussen de twee volkstellingen. Misschien zijn de inwoners van het VK ondertussen wel van mening veranderd. Het ONS vindt deze verklaring echter niet zo waarschijnlijk. Ze zegt daar zelf over:

“While the increase in the number of usual residents describing their national identity as “British” and the fall in the number describing their national identity as “English” may partly reflect true change, it is most likely to be a result of the changes to the question structure where “British” became the top response option in 2021 for England only”.

Dus ook ONS denkt dat de verklaring van dit probleem gezocht moet worden in problemen met de vraagstelling. Dat roept de vraag op waarom dan de volgorde van de antwoordopties is veranderd van 2011 naar 2021. De Engelse krant The Telegraph vroeg dat aan het ONS en kreeg als antwoord “it was to make it easier for people to respond to”. Dit lijkt een niet heel erg overtuigende verklaring.

Concluderend is het goed om dit voorbeeld als een waarschuwing te zien dat een andere volgorde van de antwoordopties van invloed kan zijn op de gegeven antwoorden. Wees op je hoede! En valt er misschien iets aan te doen? Dat kan als je werkt met een online vragenlijst. Je kunt die zo laten werken dat voor elke respondent opnieuw de volgorde van de opties geloot wordt. Je krijgt dus steeds weer een nieuwe volgorde. Dus een antwoord kan de ene keer vooraan staan en de volgende keer achteraan. Daarmee voorkom je dat bepaalde antwoorden teveel worden gekozen. Je elimineert volgorde-effecten.