Non-respons

Bij het uitvoeren van een peiling kan er van alles misgaan. Een van de belangrijkste problemen is het optreden van non-respons. Non-respons is het verschijnsel dat je van iemand die in de steekproef is getrokken de gewenste informatie niet krijgt.

Non-respons past de representativiteit van een peiling aan. Treedt er non-respons op in een peiling dan is er een groot risico dat je verkeerde conclusies trekt uit de uitkomsten.

De oorzaken van non-respons

Non-respons kan verschillende oorzaken hebben. Het is goed om de non-respondenten op basis van deze oorzaken in groepen te verdelen, omdat elke groep weer een ander effect kan hebben op de uitkomsten. We onderscheiden vaak drie verschillende oorzaken van non-respons.

nonrespons

Eerst moeten je contact maken met de personen die je in de steekproef hebt geloot. Als dat niet lukt, dan noemen we dat non-respons als gevolg van geen contact.

Is er contact, dan moeten je vaststellen of deze persoon hoort tot de populatie die je onderzoekt. Is dat zo, dan moeten je hem of haar overhalen om mee te werken aan de peiling. Lukt dat niet, dan is er sprake van non-respons als gevolg van weigering.

Ook al horen de geselecteerd personen tot de onderzoekspopulatie en willen ze meewerken aan de peiling, dan kunnen er toch nog omstandigheden zijn die dat onmogelijk maken. Denk hierbij aan ziekte of taalproblemen Er is dan sprake van non-respons omdat ze niet in staat zijn om mee te werken.

Je krijgt dus pas respons als je contact kunt leggen met de geselecteerde personen, ze mee willen werken aan de peiling, en daartoe ook in staat zijn.

De gevolgen van non-respons

Non-respons leidt ertoe dat je minder gegevens krijgen dan je van plan was. Dat leidt in principe niet tot onjuiste conclusies. Wel zullen de onzekerheidsmarges van de schattingen groter zijn. Je kunt dus minder precies schatten.

Een veel groter probleem is dat de non-respons heel vaak selectief is. Als non-respons zich vooral voordoet bij bepaalde groepen, dan zijn die groepen ondervertegenwoordigd in de peiling, terwijl andere groepen juist oververtegenwoordigd zijn. Dat kan leiden tot ernstige afwijkingen in de schattingen die je maakt op basis van de peiling. Anders gezegd: er zit een vertekening in de uitkomsten.

Bij heel veel peilingen leidt non-respons tot vertekeningen in de uitkomsten. Bij onderzoek onder slachtoffers van misdrijven bleken mensen die ‘s avonds thuis bang zijn, minder bereid om mee te doen. Bij woningbehoeftenonderzoeken is de tevredenheid met de huidige woning groter onder weigeraars dan onder respondenten. Bij onderzoek naar het verplaatsingsgedrag worden mobielere mensen minder vaak thuis aangetroffen (en dat was juist het onderwerp van het onderzoek). En bij verkiezingsonderzoeken zijn het vooral de respondenten die gaan stemmen.

Demonstratie 2: Non-respons in een peiling

Aan de hand van een demonstratie laten we zien wat de invloed van non-respons is op de zuiverheid en precisie van een schatting. We gaan daarvoor naar het denkbeeldige land Samplonië.

De verkiezingen staan voor de deur in Samplonië. Vooral de Nationale Ouderen Partij (NOP) lijkt veel aanhang te hebben. In een opinieonderzoek schatten we hoeveel procent van de kiezers gaat stemmen op die partij. Om een idee te krijgen van hoe goed of slecht de schattingen kunnen zijn, herhalen we het trekken van de steekproef een groot aantal malen. Voor elke steekproef opnieuw bepalen we het percentage stemmers op de NOP. Zo krijgen we een hele reeks schattingen. Daarvan bouwen we een histogram op.

Je kunt ook kiezen of er wel of niet non-respons moet optreden in de peiling. Dat doe je door te klikken op het groene vierkantje onder Non-respons. In deze demonstratie neemt de non-respons toe met de leeftijd. Bij jongeren is de kans op respons gelijk aan 80%, bij mensen van middelbare leeftijd is die kans 50% en bij de ouderen is de responskans nog maar 20%. Je kunt de initiële omvang van de steekproef instellen door klikken op het groene vierkantje onder Steekproef. Na elke keer klikken verschijnt een andere waarde. Er kan worden gekozen uit een omvang van 200, 400 of 800. Als er non-respons optreedt, is de gerealiseerde omvang van de steekproef uiteraard kleiner dan de initiële steekproefomvang. Je start het trekken van de steekproeven door klikken op het groene vierkantje bij Start.

Van al die schattingen berekenen we het gemiddelde. Als dit gemiddelde dicht in de buurt ligt van het werkelijke gemiddelde in de hele populatie (25,4) ligt, dan is het steekproefpercentage een zuivere schatter. Van al die schattingen kun je ook de standaardfout uitrekenen. Dit is een maat voor de variatie in de mogelijk uitkomsten. Je zult zien dat die variatie kleiner is (en de schatter dus preciezer) als de steekproefomvang groter is.

Als er geen non-respons optreedt, zullen de schattingen netjes geconcentreerd liggen om het werkelijke percentage stemmers in de hele populatie (25,4%). Is er wel non-respons, dan vallen de schattingen systematisch te laag uit.

Waarom zijn de schattingen te laag? Dat komt omdat ouderen ondervertegenwoordigd zijn in de steekproeven. De non-respons is vooral hoog bij die ouderen. En het zijn nu net ook de ouderen die op de NOP stemmen. Kortom, er zitten steeds te weinig NOP-stemmers in de steekproef.

Merk op dat bij het optreden van non-respons de variatie in de waarde van de schattingen groter is. Ook dat is een effect van non-respons. Immers, non-respons leidt tot kleiner steekproeven, en dus tot grotere onzekerheidsmarges.