PeilingPraktijken

Peilingen

Een peiling is een onderzoek waarbij je aan een steekproef uit een grote groep mensen op systematische wijze vragen stelt. Die vragen meten meningen, gedrag, feitelijke zaken of andere kenmerken van die mensen. Met de gegevens uit de steekproef kun je vervolgens uitspraken doen over de groep als geheel.

De groep waaruit je de steekproef trekt, noemen we de doelpopulatie. Je kunt de uitkomsten van de peiling alleen generaliseren naar de doelpopulatie als je de steekproef op een correcte manier hebt getrokken. Een verkeerde steekproef leidt tot verkeerde uitkomsten en dus verkeerde conclusies.

Voorbeeld: een politieke peiling

Een voorbeeld van een peiling is een politieke peiling in een gemeente naar aanleiding van gemeenteraadsverkiezingen. De doelpopulatie bestaat uit alle inwoners in een gemeente vanaf een leeftijd van 18 jaar. Alle stemgerechtigden dus. In zo’n onderzoek kun je vragen op welke partij de mensen denken te gaan stemmen.

Met de antwoorden kun je vervolgens schatten welk percentage mensen in de gemeente op die partij gaat stemmen.

Een steekproef trekken

Als je de mening of het gedrag van een groep in kaart willen brengen, dan ligt het op het eerste gezicht voor de hand om je vragen aan elk lid van de groep voor te leggen. Zo ging dat vroeger altijd. En zo gaat het nu nog steeds bij volkstellingen die in veel landen elke 10 jaar worden gehouden. Miljoenen mensen ondervragen kost echter veel tijd en geld. Daar komt ook nog bij dat veel mensen er niet van gediend zijn om voortdurend te worden lastig gevallen. Vandaar dat we nu meestal gebruik maken van steekproeven.

Om de problemen van een integraal onderzoek van een hele doelpopulatie te omzeilen, kun je een steekproef trekken. Als die steekproef een goede afspiegeling is van de doelpopulatie, dan kun je de uitkomsten van de peiling generaliseren naar de doelpopulatie. Dit is alleen mogelijk als de steekproef aan de volgende voorwaarden voldoet:

• Je moet de mensen in de steekproef selecteren met een echt lotingsmechanisme.
• Elke persoon in de doelpopulatie moet dezelfde kans hebben om in de steekproef getrokken te worden.
• Al die selectiekansen moeten bekend zijn.

Een steekproef die door loting tot stand komt, noemen we ook wel een kanssteekproef. Als je met gelijke kansen loot, dan noemen we dat een aselecte steekproef.

Er zijn nog allerlei andere manieren om een steekproef te trekken. Als die steekproef niet voldoet aan bovenstaande voorwaarden, dan kun je de uitkomsten van de peiling niet generaliseren naar de doelpopulatie. Je kunt dan op geen enkele manier vaststellen hoe goed of slecht de uitkomsten zijn.

Schattingen maken

Met de gegevens uit de steekproef kun je allerlei kenmerken van de doelpopulatie schatten. Als je een aselecte steekproef hebt getrokken, dan is een percentage in de steekproef een goede schatting voor een percentage in de doelpopulatie. En een gemiddelde in de steekproef is een goede schatting voor het gemiddelde in de doelpopulatie.

Maar wat is eigenlijk een goede schatting? Schattingen voor een aselecte steekproef hebben twee belangrijke eigenschappen:

• De schattingen zijn zuiver. Als je het onderzoek een heleboel keer zou herhalen, dan zullen die schattingen gemiddeld uitkomen op de waarde in de doelpopulatie die je wilt schatten. De schattingen zijn dus gemiddeld goed. Er is geen systematische onder- of overschatting.
• De omvang van de steekproef bepaalt de precisie van de schatting. De precisie geeft aan hoeveel variatie er in de mogelijk uitkomsten kan zitten. Naarmate de omvang van de steekproef groter is, zullen de schattingen preciezer zijn.

Er bestaat geen verband tussen de precisie van een schatting en de omvang van de doelpopulatie. Het is dus niet zo dat je voor een grotere populatie een grotere steekproef nodig hebt om dezelfde precisie te bereiken.

Voorbeeld: Verkiezingen in Samplona

We kunnen aantonen dat het gebruik van aselecte steekproeven werkt. Dat doen we door het proces van het trekken van steekproeven en het berekenen van schattingen een groot aantal malen te herhalen. We noemen dat een simulatie. We gebruiken daarvoor gegevens van de denkbeeldige gemeente Samplona.

De verkiezingen komen er aan in Samplona. In de gemeente wonen 30.000 kiesgerechtigde personen. Sinds kort is er een nieuwe partij in Samplona: De Nieuwe Internet Partij (NIP). Deze partij richt zich op het vernieuwen van de democratische processen door inzet van internet. Het zal niet verbazen dat de aanhangers van deze partij vooral internetgebruikers zijn.

Om het trekken van steekproeven te kunnen simuleren, hebben we een denkbeeldige doelpopulatie gemaakt die uit 30.000 personen bestaat. Dat doelpopulatie zit zo in elkaar dat 39,5% van de personen in de doelpopulatie stemt op de NIP. In normale omstandigheden is dit populatiepercentage onbekend. We voeren immers juist een peiling uit om dat percentage te schatten. We trekken nu een flink aantal steekproeven en stellen vast hoe goed we het populatiepercentage kunnen benaderen met onze schattingen.

We beginnen met aselecte steekproeven (met gelijke kansen en zonder teruglegging) van omvang 500. We trekken 1.000 steekproeven. Voor elke steekproef berekenen we het percentage stemmers op de NIP. Zo krijgen we 1,000 schattingen. Daarvan maken we een histogram. De grafiek in de figuur hieronder toont dat histogram. Het is opgebouwd uit allemaal blokjes, waarbij elke blokje een uitkomst van een steekproef voorstelt. Als schattingen (ongeveer) dezelfde waarde hebben, zijn de blokjes op elkaar gestapeld. De verticale zwarte lijn stelt de populatiewaarde (39,5) voor die we proberen te schatten.

Uit dit histogram blijkt dat de schattingen geconcentreerd liggen rondom de te schatten populatiewaarde. Sommige schattingen zijn wat kleiner dan de populatiewaarde en andere schattingen zijn wat groter. Het gemiddelde van al die 1.000 schattingen is (ongeveer) gelijk aan de populatiewaarde. Daarom kunnen we concluderen dat de schatter zuiver (of valide) is. Er zit wel wat variatie in de schattingen. Ze variëren zo’n beetje tussen de 34% en 46%. De precisie van de schattingen is dus niet erg groot.

Wat gebeurt er als we omvang van de steekproef vergroten van 500 naar 2.000? We trekken opnieuw 1.000 steekproeven en we berekenen schattingen voor elke steekproef. De grafiek in figuur 2 bevat het histogram van de schattingen voor deze simulatie. Er is weer een symmetrische verdeling ontstaan, maar nu liggen de schattingen veel dichter in de buurt van de te schatten populatiewaarde. De schatter is nog steeds zuiver (valide) en de precisie is veel groter.

De twee simulaties in figuren 1 en 2 illustreren een belangrijk principe van het gebruik van steekproeven: schattingen zijn preciezer naarmate de steekproef groter is.

Onzekerheidsmarges

Met de gegevens uit een steekproef kun je schattingen maken van allerlei kenmerken in de doelpopulatie. Een schatting komt nooit exact overeen met de waarde in de doelpopulatie. Hij kan er wel dicht in de buurt liggen. Maar wat is dicht in de buurt?

Omdat je loot bij het trekken van de steekproef, kun je de theorie van de kansrekening toepassen. Die zegt dat grootheden als het steekproefgemiddelde en het steekproefpercentage bij benadering een zogenaamde normale verdeling hebben. Dit betekent dat je kunt uitrekenen hoe ver je schatting maximaal kan afwijken van de werkelijke waarde. Die maximale afwijking noemen we de onzekerheidsmarge.

Met de onzekerheidsmarge kun je ook een betrouwbaarheidsinterval bepalen. Dat interval heeft een ondergrens en een bovengrens. Daartussen ligt de werkelijke waarde in de doelpopulatie met een zeer grote waarschijnlijkheid. Meestal wordt voor die waarschijnlijkheid een waarde van 95% genomen. Zo krijgt je dan het 95%-betrouwbaarheidsinterval. Je kunt dan zeggen dat met 95% zekerheid de werkelijke waarde in het interval zal liggen.

Voorbeeld: luisteraars naar de lokale omroep

Om te bepalen hoeveel mensen naar een lokale omroep luisteren, trekken we een steekproef van 1.000 inwoners. Het blijkt dat 25,0% van de kiezers regelmatig luistert. Het bijbehorende 95%-betrouwbaarheidsinterval heeft dan een ondergrens van 22,3% en een bovengrens van 27,7%. Dat betekent dat met een zeer grote waarschijnlijkheid het percentage stemmers in de gehele populatie zal liggen tussen de 22,3% en 27,7%.

Er is een direct verband tussen de breedte van het betrouwbaarheidsinterval en de omvang van de steekproef. Naarmate de steekproef groter is, zal het betrouwbaarheidsinterval kleiner zijn. De schatting is dan dus preciezer.

Bij het publiceren van de uitkomsten van een peiling is het belangrijk om niet alleen schattingen te vermelden maar ook de onzekerheidsmarges. Daarmee krijgen de gebruikers een duidelijk beeld van de precisie van de cijfers.

Voorbeeld: Mening over de oorlog Irak

In een opinieonderzoek op 17 maart 2003 werd aan een steekproef van 776 Amerikanen (telefonische) gevraagd of ze het eens waren met de oorlogsverklaring van Amerika aan Irak. 665 personen waren het er mee eens.

Naast de cijfers wordt ook de onzekerheidsmarge vermeld (sampling error). Deze is gelijk aan 4,5%. Dit betekent dat het betrouwbaarheidsinterval loopt van 61,5% tot 70,5%. We kunnen dus concluderen dat het aantal voorstanders in de populatie met grote waarschijnlijkheid zal liggen tussen 61,5% en 70,5%.