Bezopen berichtgeving

‘Leidse jeugd heeft lak aan de alcoholwet’. Aldus in vette letters de voorpagina van het Leidsch Dagblad van zaterdag 11 juli 2015. Groot nieuws! Verder in de krant werden nog eens bijna twee pagina’s aan dit nieuwswaardige probleem gewijd. Of toch niet zo nieuwswaardig?

Eerst even naar de herkomst van het blijkbaar grote nieuws, waarvoor op de voorpagina elk wereldnieuws moest wijken. Het Leidsch Dagblad heeft onderzoek gedaan onder jongeren en hun alcoholgebruik. Daaruit zou blijken, dat 80 procent van de Leidse jongeren van 16 en 17 jaar alcohol drinkt. Dat is veel, zeker als we ons realiseren dat in ieder geval volgens de wet aan deze jongeren geen alcohol verkocht mag worden.

alcohol

De vraag is echter of het onderzoek van de krant die stevige conclusie kan dragen. Dan moet dat onderzoek goed zijn opgezet en uitgevoerd. Pas dan is het verantwoord dergelijke conclusies te trekken. En het onderzoek van het Leidsch Dagblad zat niet goed in elkaar. Al is dat voor de lezer niet direct duidelijk, want in de berichtgeving wordt niets over de opzet en uitvoering van de peiling onder jongeren gemeld. Nu weet je als lezer niet waar de gepresenteerde cijfers vandaan komen en hoe je de uitkomsten op waarde moet schatten. Het enige wat je in de krant kunt lezen is dat 260 scholieren van 16 en 17 jaar hebben meegedaan en 50 scholieren van 15 jaar. Over de opzet van het onderzoek zegt dat weinig, hooguit dat de ondervraagde groep klein is.

Over welke groep gaat het eigenlijk? De kop van het bericht spreekt over ‘Leidse jeugd’, maar uit de tekst blijkt dat het enkel om scholieren gaat van 15, 16 en 17 jaar. Daarbij zitten jongeren die niet in Leiden wonen maar in de regio. Jongeren die niet op school zitten, vallen sowieso buiten het onderzoek. Dat is toch wel een interessante groep. En onder de 15 en boven de 17 is geen jeugd, blijkbaar.

Als je iets wilt zeggen over de hele groep van Leidse scholieren van 15 t/m 17 jaar, dan moet je zorgen dat de steekproef representatief is. Dat houdt kort gezegd in dat die steekproef moet worden geloot, en dat alle scholieren in die leeftijdsgroep een even grote kans hebben om gevraagd te worden eraan mee te doen. Maar zo ging het niet. De krant zelf meldt niets over het trekken van de steekproef, maar navraag leert dat bijna alle Leidse scholen zijn gevraagd mee te doen. Uiteindelijk stemden echter slechts drie scholen daarmee in: het Bonaventuracollege aan de Burggravenlaan, het Bonaventuracollege aan de Marienpoelstraat en het Visser ‘t Hooft Lyceum aan de Kagerstraat. Zijn die scholen representatief voor alle scholen in Leiden, en vormen de leerlingen op die scholen een keurig spiegelbeeld van alle Leidse scholieren? Onwaarschijnlijk.

Vervolgens zijn op deze drie scholen klassen geselecteerd, niet door de onderzoeker maar door docenten Maatschappijleer. Het is onduidelijk hoe dit precies is gegaan en of er in dit proces klassen zijn afgevallen, en welke dan en waarom. In de geselecteerde klassen is aan de leerlingen gevraagd een vragenlijst in te vullen. Hiervan is weer niet helder of alle leerlingen dat gedaan hebben, of dat sprake was van leerlingen die niet deelnamen (non-respons) en wat de reden van die non-respons is.

Kortom, de zogenoemde representativiteit van de peiling zal op meerdere manieren ernstig zijn aangetast: via de selectie van scholen, via de selectie van klassen in deelnemende scholen, en via de selectie van deelnemers binnen klassen. Aan deze vanuit onderzoekstechnisch oogpunt bijna reddeloze situatie kan eventueel nog iets worden gerepareerd door correctie en weging, maar ook dat is bij de peiling van het Leidsch Dagblad niet gebeurd.

Dan de vragenlijst. Dat is een cruciaal onderdeel van een peiling. Immers, het gaat de onderzoeker om de antwoorden op de voorgelegde vragen. De praktijk heeft geleerd dat deelnemers aan dit soort onderzoek eenvoudig op het verkeerde been kunnen worden gezet door onduidelijke en suggestieve vragen. De vragenlijst van deze peiling onder de scholieren ziet er weinig doordacht uit. Er zijn slordig geformuleerde open vragen waarvan de antwoorden lastig te analyseren zijn. Er zijn gesloten vragen waarvoor je één antwoord moet kiezen, terwijl die antwoorden van gelegenheid tot gelegenheid kunnen variëren. Er zijn vragen met antwoordmogelijkheden die overlappen. Kortom, het lijkt er sterk op dat de vragenlijst niet of niet goed is getest. Terwijl die vragenlijst toch het eigenlijke meetinstrument is.

Elke peiling levert cijfers op. De artikelen over Leidse jeugd en alcohol staan er vol mee. Door zelfs percentages met één decimaal achter de komma te geven, wekt de krant de indruk dat die percentages zeer nauwkeurig zijn. Dit is echter niet zo. Door zo’n kleine steekproef (in totaal 310) is er sprake van flinke foutmarges. Die foutmarges kunnen gemakkelijk oplopen tot zes procentpunten. Helaas worden die marges niet gemeld en moet de lezer het doen met tal van schijnprecieze cijfers.

Al met al moet de conclusie luiden dat het onderzoek van het Leidsch Dagblad zacht gezegd nogal krakkemikkig in elkaar zit. Daarom is er zeer ernstige twijfel over de conclusies ervan, te veel twijfel om er op de zaterdag de krant mee te openen en er vervolgens nog een kleine twee pagina’s mee te vullen. Het kan best zijn dat de ‘Leidse jeugd’ zich ondanks nieuwe wettelijk regels te buiten gaat aan alcoholgebruik, maar die conclusie laat het onderzoek niet toe. Wel dat hier sprake is van een staaltje bezopen berichtgeving.

Deze bijdrage is geschreven samen met Joop van Holsteyn (Universiteit Leiden, Instituut voor Politieke Wetenschap).