Non-respons
Bij het uitvoeren van een peiling kan er van alles misgaan. Een van de belangrijkste problemen is het optreden van non-respons. Non-respons is het verschijnsel dat je van iemand in de steekproef de gewenste informatie niet krijgt.
Non-respons past de representativiteit van een peiling aan. Treedt er non-respons op in een peiling dan is er een groot risico dat je verkeerde conclusies trekt uit de uitkomsten.
De oorzaken van non-respons
Non-respons kan verschillende oorzaken hebben. Het is goed om de non-respondenten op basis van deze oorzaken in groepen te verdelen, omdat elke groep weer een ander effect kan hebben op de uitkomsten. We onderscheiden vaak drie verschillende oorzaken van non-respons.
Eerst moet je contact maken met de personen die je in de steekproef hebt geloot. Als dat niet lukt, dan noemen we dat non-respons als gevolg van geen contact.
Is er contact, dan moeten je vaststellen of deze persoon hoort tot de doelpopulatie die je onderzoekt. Is dat zo, dan moet je hem of haar overhalen om mee te werken aan de peiling. Lukt dat niet, dan is er sprake van non-respons als gevolg van weigering.
Ook al horen de geselecteerd personen tot de onderzoekspopulatie en willen ze meewerken aan de peiling, dan kunnen er toch nog omstandigheden zijn die dat onmogelijk maken. Denk hierbij aan ziekte of taalproblemen Er is dan sprake van non-respons omdat ze niet in staat zijn om mee te werken.
Je krijgt dus pas respons als je contact kunt leggen met de geselecteerde personen, ze mee willen werken aan de peiling, en daartoe ook in staat zijn.
De gevolgen van non-respons
Non-respons leidt ertoe dat je minder gegevens krijgt dan je van plan was. Dat leidt in principe niet tot onjuiste conclusies. Wel zullen de onzekerheidsmarges van de schattingen groter zijn. Je kunt dus minder precies schatten.
Een veel groter probleem is dat de non-respons heel vaak selectief is. Als non-respons zich vooral voordoet bij bepaalde groepen, dan zijn die groepen ondervertegenwoordigd in de peiling, terwijl andere groepen juist oververtegenwoordigd zijn. Dat kan leiden tot ernstige afwijkingen in de schattingen die je maakt op basis van de peiling. Anders gezegd: er zit een vertekening in de uitkomsten.
Bij heel veel peilingen leidt non-respons tot vertekeningen in de uitkomsten. Bij onderzoek onder slachtoffers van misdrijven bleken mensen die ’s avonds thuis bang zijn, minder bereid om mee te doen. Bij woningbehoeftenonderzoeken is de tevredenheid met de huidige woning groter onder weigeraars dan onder respondenten. Bij onderzoek naar het verplaatsingsgedrag worden mobielere mensen minder vaak thuis aangetroffen (en dat was juist het onderwerp van het onderzoek). En bij verkiezingsonderzoeken zijn het vooral de respondenten die gaan stemmen.
Voorbeeld Non-respons in een peiling in Samplona
Aan de hand van een simulatie laten we zien wat de gevolgen van non-respons kunnen zijn. We maken weer gebruik van de fictieve gemeente Samplona. Daarin wonen 30.000 stemgerechtigden. Deze doelpopulatie is zo gemaakt dat 39,5% van de kiezers op de Nieuwe Internet Partij (NIP) stemt. Wat gebeurt er nu als we hier aselecte steekproeven uit trekken? We beginnen met de ideale situatie waarin iedereen in de steekproef meedoet. We trekken 1.000 steekproeven van omvang 500. Voor elke steekproef berekenen we het steekproefpercentage. Van al die schattingen maken we een histogram en dat is de grafiek in figuur 1. De verticale zwarte lijn stelt de te schatten populatiewaarde (39,5%) voor.
De schattingen zijn keurig symmetrisch verdeeld rondom de te schatten waarde. Veel schattingen liggen vlak bij de te schatten waarde. Gemiddeld genomen zijn de schattingen gelijk aan die populatiewaarde. We kunnen dus vaststellen dat er sprake is van een zuivere schatter.
Vervolgens gaan we non-respons genereren. Dat hebben we zo gedaan dat de personen met internet een grote kans hebben om mee te doen aan de peiling en personen zonder internet een kleine kans. We trekken weer 1.000 steekproeven van omvang 500, berekenen het percentage NIP-stemmers in de steekproef, en maken daarvan een histogram. Dat is de grafiek in figuur 2.
De verdeling van de schattingen ligt nu niet meer geconcentreerd rondom te schatten waarde . De verdeling is in zijn geheel naar rechts geschoven. Alle schattingen zijn systematisch te hoog. De gemiddelde waarde ervan is 50,6%, terwijl dat 39,5% had moeten zijn. De schatter heeft dus een vertekening van 50,6 – 39,5 = 11,1 procentpunten. Dat is een flinke vertekening. Het is wel duidelijk waar die vertekening vandaan komt. Personen met internet hebben een grotere kans op respons. Ze zijn dus oververtegenwoordigd in de peiling. En dat zijn nou net de personen die op de NIP stemmen.
Merk op dat de spreiding van de schattingen in de tweede grafiek groter is dan de eerste. Dat is ook het gevolg van non-respons. De netto steekproeven zijn in de tweede situatie immers kleiner. Het percentage respons was ongeveer 58% wat correspondeert met een steekproef van omvang 290 (in plaats van 500).
