Een Twitter-peiling? Niet doen!

Het is mogelijk om via Twitter een kleine peiling uit te voeren. Dat lijkt een interessante mogelijkheid om onderzoek te doen. Zo’n Twitter-peiling heeft echter nogal wat methodologische tekortkomingen. Daarom is het beter om geen Twitter-peilingen te gebruiken. Helaas kom je ze nog regelmatig tegen. Een voorbeeld is een peiling van de Provincie Zuid-Holland die op zondag 13 juni 2021 op Twitter verscheen.

Deze peiling had maar één vraag. Je moest reageren op de stelling “Ik blijf vaker thuiswerken, ook als dit niet meer hoeft”. En er waren twee mogelijke antwoorden: “Eens” en “Oneens”. Op het moment van bekijken van deze peiling, hadden 42 personen de vraag beantwoord. De peiling bleef kennelijk nog een dag zichtbaar op Twitter.

Een Twitter-peiling heeft een aantal ernstige beperkingen. In de eerste plaats kun je maar één vraag stellen. Daarmee wordt het wel een heel korte enquête. Je kunt wel meer vragen stellen maar dat moet je dan doen in een reeks opeenvolgende losse tweets. Je hebt dan geen controle over de volgorde van het beantwoorden van de vragen. En je kunt ook geen samenhang tussen de antwoorden op verschillende vragen onderzoeken. De Twitter-peiling van de Provincie-Zuid-Holland had inderdaad maar één vraag.

In de tweede plaats mag de tekst van de vraag niet langer zijn dan 280 tekens. Dat kan te weinig zijn voor wat langere vragen of toelichtende teksten. En de tekst van de antwoordmogelijkheden mag niet langer zijn dan 25 tekens. Dat is in veel gevallen te weinig. De beperkte beschikbare ruimte was voor de peiling van de Provincie-Zuid-Holland wel voldoende.

In de derde plaats kun je alleen maar een gesloten vraag stellen met maximaal vier mogelijke antwoorden. Gesloten vragen kunnen natuurlijk veel meer antwoordmogelijkheden hebben. Denk maar eens aan een vraag naar politieke voorkeur. De respondenten moeten dan kunnen kiezen uit rijtje met politieke partijen. En dat zijn er meestal veel meer dan vier. En er zijn ook nog andere typen vragen, zoals de open vraag (“Wat voor soort werk doet u?”), de numerieke vraag (“Hoe oud bent u?”) en de gesloten vraag met meer dan één antwoord (“Welke kranten leest u?”). Dat kan allemaal niet in een Twitter-peiling. De vraag van de Twitter-peiling van de provincie Zuid-Holland had gelukkig maar twee mogelijke antwoorden.

Eén vierde probleem van een Twitter-peiling is dat je niet een geschikte doelgroep voor je peilingen kunt kiezen. Alleen je volgers op Twitter zien je peiling. Weliswaar kunnen ook andere twitteraars bij de betreffende tweet komen, maar dan moeten ze die wel bewust opzoeken, bijvoorbeeld via een hashtag. Welke doelgroep ben je zo aan het onderzoeken? Is dat een interessante doelgroep? Waarschijnlijk niet? Wat nu als je de vraag wilt voorleggen aan alle Nederlanders, of alle leraren, of alle politieagenten? Dit is niet mogelijk. De vraag zal dus steeds weer zijn: voor welke doelgroep is de Twitter-peiling nu eigenlijk representatief?

Ook bij de Twitter-peiling van de Provincie Zuid-Holland was de doelgroep niet duidelijk aangegeven. Ging het om alle Nederlanders? Of alle Nederlanders met een baan? Of alle Nederlanders van 18 jaar en ouder? Of alle Zuid-Hollanders? Of alle Zuid-Hollanders met een baan? Of alle Zuid-Hollanders van 18 jaar en ouder? Er was helaas geen uitleg voor wie de peiling bedoeld was.

Een vijfde probleem is dat een Twitter-peiling niet langer dan zeven dagen open kan staan. De standaard-instelling is 1 dag, maar je kunt die periode uitbreiden tot maximaal 7 dagen. Dat kan in sommige situaties wel eens te kort zijn. Zo mis je mogelijk heel wat respondenten.

Wie doen er mee aan zo’n twitter-peiling? Dat zijn mensen met internet. En ze moeten ook een Twitter-account hebben. Ook moeten ze de maker van de peiling via Twitter volgen. Of ze moeten hem bewust opzoeken, bijvoorbeeld via een hashtag. En als ze de peiling zien, moeten ze ook nog besluiten er spontaan aan mee te doen. Dit selectieproces zal zeker geen representatieve steekproef opleveren. Het is zeker geen aselecte steekproef.

Die representativiteit kan nog verder worden aangetast als groepjes mensen samen besluiten om gericht de vraag op Twitter te beantwoorden en zo proberen de uitkomst van de peiling te manipuleren.

Een zesde probleem is dat je niet kunt wegen. Je zou kunnen proberen een twitter-peiling te corrigeren voor het gebrek aan representativiteit. Dat kan met een wegingsprocedure. Daarvoor moet je in je peiling weegvariabelen bij de respondenten meten. Voor die variabelen moet je ook de verdeling in de hele populatie kennen. Voorbeelden zijn geslacht, leeftijd, regio (bijvoorbeeld keuze tussen stad of platteland), opleidingsniveau of stemgedrag bij de vorige verkiezingen. Dan kun zien welke groepen onder- en oververtegenwoordigd zijn. Door het toekennen van gewichten kun je vervolgens daarvoor corrigeren. Helaas, een Twitter-peiling heeft maar één vraag. Dus je kunt geen weegvariabelen meten. Daardoor is wegen niet mogelijk. Het gebrek aan representativiteit blijft.

Het grootste probleem van een twitter-peiling is toch wel het gebrek aan representativiteit. Matt Singh van de website Number Cruncher Politics laat dit nog eens duidelijk zien aan de hand van een Brits voorbeeld. Op 8 juni 2017 waren er parlementsverkiezingen in het Verenigd Koninkrijk. Vlak daarna werd de British Election Study (BES) uitgevoerd. Daarin zaten, onder anderen, vragen over stemgedrag bij de verkiezingen en ook over het gebruik van sociale media. De BES is een goed onderzoek. De steekproef is netjes aselect geloot uit alle adressen in de VK, interviewers verzamelen de gegevens met face-to-face interviews, de respons is relatief hoog, en de onderzoekers wegen de uitkomsten. Daarom kun je spreken van een representatief onderzoek.

Matt Singh heeft gegevens uit BES gebruikt om na te gaan of er verband is tussen stemgedrag en gebruik van sociale media. Dat verband is er zeker. In de grafiek hieronder vergelijkt hij het stemgedrag van Twitter-gebruikers met het stemgedrag van respondenten die geen Twitter gebruiken.

Duidelijk is te zien dat Labour behoorlijk oververtegenwoordigd is bij de twitteraars. 54% heeft Labour gestemd en slechts 27% Conservatief. En het patroon is juist andersom bij mensen die niet twitteren. Daar zijn de conservatieven in de meerderheid met 45%, terwijl maar 39% Labour stemde. Kortom, in een Twitter-peiling zit teveel Labour en te weinig Conservatieven.

Matt Singh laat aan de hand van een voorbeeld zien waartoe dit kan leiden. Zie de grafiek hieronder. Bij de twitteraars is een grote meerderheid (68%) tegen Brexit (“Remain”). Slechts 32% wil een Brexit (“Leave”). Bij de niet-twitteraars hebben de voorstanders van Brexit echter de meerderheid (54% tegen 46%).

Kortom, het is onverstandig om Twitter-peilingen te gebruiken, want ze zijn niet representatief. Een Twitter-peiling is een slechte peiling.