D66 de grootste partij in het land. Of toch niet?
Ipsos concludeert in de Politieke Barometer van 4 april 2014 dat D66 de grootste partij is. Daarbij worden de onzekerheidsmarges echter over het hoofd gezien.
Uit het bericht blijkt verder dat volgens de peiling D66 zou uitkomen op 28 zetels in de Tweede Kamer (corresponderend met 18,5 procent van de stemmen). Daarmee is D66 inderdaad groter dan de VVD die op de tweede plaats staat met 26 zetels (corresponderend met 17,2 procent van de stemmen). Klopt dit wel?
De kop is in tegenspraak met de disclaimer die Ipsos onderaan het bericht heeft opgenomen. Daarin wordt aangegeven dat de lezer rekening moet houden met onzekerheidsmarges die kunnen oplopen van 1 procent bij kleine partijen tot 2,5 procent bij grote partijen. De vraag komt dan op of het verschil van 1,3 procent tussen D66 en VVD in de peiling wel een ‘echt’ (significant) verschil is of dat het alleen maar ‘ruis’ van de steekproef is.
Om hier achter te komen is het trekken van de steekproef voor de Politieke Barometer een groot aantal keren nagespeeld. Daarbij is er eerst vanuit gegaan dat er geen verschil is tussen de percentages voor D66 en de VVD in de populatie van alle kiezers. Beide percentages zijn op 18 gezet. Er is 10.000 keer een steekproef getrokken uit deze populatie en voor elke steekproef is gekeken wat het verschil was tussen de percentages voor beide partijen. Van al die simulaties is het onderstaande histogram gemaakt met de verdeling van die verschillen. Net als bij Ipsos was de omvang van de steekproef steeds gelijk aan 1.004.
De top van het histogram ligt bij 0. Dus bij heel veel steekproeven is het verschil tussen D66 en de VVD erg klein. Het komt echter ook voor dat er behoorlijke verschillen zijn. Het verschil kan oplopen tot wel 7 procent. In de peiling van Ipsos was het verschil tussen D66 en de VVD 1,3 procent. In het experiment was in 24 procent van de gevallen het verschil minstens 1,3 procent. Dus ook al zijn twee partijen even groot, dan kan het toch in een peiling vrij vaak voorkomen dat het verschil minimaal 1,3 procent bedraagt. Je kunt dus uit de peiling van Ipsos niet de conclusie trekken dat D66 de grootste is.
We gaan nog een stapje verder. We maken van de VVD de grootste partij met 18 procent en zetten D66 op 17 procent. Kan het dan toch gebeuren dat D66 in de peiling toch de grootste partij wordt? We hebben weer 10.000 steekproeven getrokken en het verschil tussen D66 en VVD in beeld gebracht. Zie het histogram hieronder.
Ook al is D66 nu kleiner dan de VVD, toch kan D66 als grootste uit de bus komen in de peiling. In dit experiment was dat bij ruim 10 procent van de steekproeven het geval.
Je kunt dus pas echt de conclusie trekken dat een partij de grootste is als de verschillen met andere partijen voldoende groot zijn. Dat betekent hier dat het verschil minimaal 3 procent moet zijn.
Overigens is de situatie nog wat ingewikkelder, want er is nog een derde partij die wel eens de grootste zou kunnen zijn. Dat is de PVV. Die partij komt in de peiling uit op 16,7 procent. Dat percentage ligt dicht in de buurt van de percentages van D66 en de VVD. Als je de percentages van alle drie de partijen op 18 procent zet en dan de simulatie herhaalt, dan komt nog steeds D66 in 10 procent van de gevallen als grootste uit de bus met een verschil van minimaal 1,3 procent op nummer 2.
Het verschil van 1,3 procent in de peiling van Ipsos is dus niet voldoende om te concluderen dat D66 de grootste is. De titel van het bericht lijkt de lading niet te dekken.
