PeilingPraktijken

Kun je in Rusland onder de huidige omstandigheden een methodologisch verantwoorde peiling houden? Kun je een representatieve steekproef van Russen trekken? En geven de personen in de steekproef dan eerlijk antwoord op de gestelde vragen? Vrije meningsuiting is immers amper mogelijk, de pers is aan banden gelegd en demonstranten worden onmiddellijk gearresteerd. Twee onderzoekers (Philipp Chapkovski en Max Schaub deden toch een poging tot een opiniepeiling. Ze probeerden de mening van de Russen te meten over de acties van het Russische leger in Oekraïne. Dat blijkt toch niet zo eenvoudig te zijn.

Philipp Chapkovski is van de HSE (Higher School of Economics in Moskou) en Max Schaub is van de Universiteit van Hamburg). Hun onderzoeksproject staat beschreven in een artikel op de academische blog van EUROPP (European Politics and Policy) en LSE (de London School of Economics).

Voor het trekken van de steekproef zou je de beschikking willen hebben over een bevolkingsregister met daarin alle Russen. Daaruit zou je dan een aselecte steekproef kunnen trekken. De twee onderzoekers hadden dat niet. Daarom zochten ze een ander steekproefkader. Ze besloten gebruik te maken van een online panel. Dat was Toloka. Toloka is de Russische versie van MTurk. MTurk (Amazon’s Mechanical Turk) is een online crowdsourcing platform dat onderzoekers kan assisteren bij het rekruteren van mensen voor allerlei betaalde (online) taken. Volgens Amazon geeft MTurk toegang tot meer dan 500.000 panelleden in meer dan 190 landen. Hierbij moet je wel bedenken dat 75% van de panelleden in de VS zit. Dus de panelleden zijn niet netjes verdeeld over de landen in de wereld.

De beide panels MTurk en Toloka zijn gevuld met personen die zichzelf spontaan hebben opgegeven voor het regelmatig uitvoeren van online taken. Er is dus sprake van zelfselectie. En het probleem van zelfselectie is dat het de representativiteit van de peilingen ernstig kan aantasten. Analyses hebben uitgewezen dat MTurk teveel jongeren, te veel hoger opgeleiden, te weinig gelovigen en teveel liberalen bevat. En in de VS zijn Afro-Amerikanen, Latijns-Amerikanen en Aziaten oververtegenwoordigd. De conclusie is dat steekproeven uit MTurk niet representatief zijn.

De problemen met de representativiteit deden zich ook voor bij Toloka. Chapkovski en Schaub trokken een steekproef van 2.998 personen. De tabel hieronder vergelijkt voor een aantal variabelen de verdeling in de steekproef met die in de populatie. De cijfers over de populatie zijn afkomstig uit de volkstelling die in 2010 in Rusland is gehouden.

Mannen zijn wat oververtegenwoordigd in de steekproef en ouderen zijn zwaar ondervertegenwoordigd. Verder zitten er veel te veel hoger opgeleiden in. En ook zijn de stedelijke gebieden oververtegenwoordigd. Kortom, de steekproef is niet representatief. Je zou kunnen proberen de peiling te corrigeren voor het gebrek aan representativiteit. Dat kan met een wegingsprocedure. Daarvoor heb je weegvariabelen nodig. Dat zijn variabelen waarvoor de verdeling in de steekproef en in de populatie beschikbaar zijn. De tabel hierboven laat zien dat zulke variabelen beschikbaar waren. Helaas hebben de onderzoekers toch geen weging uitgevoerd.

En dan de vraagstelling. Hoe vraag je de mening van de respondenten over de oorlog in Oekraïne als ze die mening niet durven geven, en dus misschien wel een sociaalwenselijk antwoord geven? De onderzoekers hebben daarvoor een speciale constructie bedacht. Ze verdeelden de steekproef via loting in twee deelsteekproeven. De personen in de eerste deelsteekproef kregen de vraag hieronder voorgelegd:

De lijst bevat vier mogelijke maatregelen: acties van het Russische leger in Oekraïne, legalisatie van het homohuwelijk, verhoging van de uitkering voor arme Russische gezinnen en overheidsmaatregelen om abortus te voorkomen. De respondenten moesten aangeven achter hoeveel van deze maatregelen ze staan. Ze zeggen dus niet achter welke maatregelen ze staan. Het gaat alleen om het aantal maatregelen waar ze achter staan. Ze hoeven dus niet te zeggen of ze de oorlog in Oekraïne steunen.

De personen in de tweede deelsteekproef kregen een iets andere vraag voorgelegd. Zie de vraag hieronder. In deze vraag gaat het om drie maatregelen. Eén maatregel minder dus. De maatregel over de oorlog in Oekraïne is weggelaten. Door het aantal voorstanders van drie maatregelen in de tweede vraag af te trekken van het aantal voorstanders van vier maatregelen in de eerste vraag, krijgen we een schatting voor het aantal voorstanders van de oorlog in Oekraïne.

In de tweede steekproef werd ook nog direct (zonder speciale constructie) gevraagd naar de mening over de oorlog in Oekraïne. Dat maakt het mogelijk om het antwoord op deze directe vraag te vergelijken met het antwoord dat met de speciale constructie is verkregen. De resultaten staan in de grafiek hieronder:

Er is een duidelijk verschil tussen beide aanpakken. Als je de vraag direct stelt, zonder speciale constructie, dan steunt twee derde (68%) van de Russen de oorlog in Oekraïne. Corrigeer je voor het effect van sociaalwenselijke antwoorden, dan daalt het percentage naar nog maar net boven de helft (53%).

We kunnen hieruit in ieder geval de conclusie trekken dat een simpele peiling met gevoelige directe vragen niet de correcte antwoorden oplevert. Je moet iets doen om sociaalwenselijke antwoorden te vermijden of te repareren.

We dienen ons ook af te vragen of de gecorrigeerde peiling wel het juiste antwoord oplevert. Misschien is het wel zo dat een aantal respondenten het nog steeds niet vertrouwd en ten onrechte aangeven de invasie in Oekraïne steunen. Dus dan zou het juiste antwoord een nog lager percentage kunnen zijn. Verder onderzoek lijkt me nodig. Voorzichtigheid is geboden met Russische peilingen.