Ook al eens een rondgang gemaakt?

Wat is een rondgang? Volgens de Van Dale is dat het gaan of lopen in de rondte, het (rond)gaan langs een vooraf bepaalde weg. In Wikipedia wordt een rondgang omschreven als een tocht, processie of rondrit die weer naar het punt van vertrek voert. Rondgang wordt echter steeds vaker in een heel andere betekenis gebruikt, namelijk als een onderzoekstechniek. Helaas wordt niet uitgelegd wat ermee wordt bedoeld.

Rondgang in de traditionele zin kom je regelmatig tegen in nieuwsberichten. Zo meldt de NOS op 28 mei 2013 bij het bezoek van Koning Willem-Alexander en koningin Máxima aan het Groningse Leek:

Bij de rondgang over de streekmarkt wilde het koningspaar niets proeven. “Met volle mond kunnen we bij het volgende kraampje niet praten”, legde Máxima uit als ze weer een stuk taart of een worst kreeg aangeboden.

Rondgang wordt echter steeds vaker gebruikt in de betekenis van onderzoekstechniek. Zo komt de NOS op 17 april 2013 met het bericht:

Premier Rutte is veel te optimistisch over de kansen op een omslag in de economie. Dat vindt een tiental vooraanstaande economen, blijkt uit een rondgang van de NOS.
rutte500

We kennen bij het uitvoeren van peilingen twee benaderingen. Als we alle betrokkenen om hun mening vragen, dan noemen we dat een integraal onderzoek. En als we ons beperken tot een selectie van betrokkenen, dan noemen we dat een steekproefonderzoek. Maar wat is nu een rondgang? Is het een integraal onderzoek of een steekproefonderzoek? Of is het misschien nog iets anders?

Een kijkje op de nieuwspagina van de NOS-website laat zien dat de term rondgang veel wordt gebruikt. Zoeken op ‘rondgang’ levert 297 hits op (op 27 augustus 2013). Overigens levert zoeken op ‘steekproef’ slechts 102 hits op. Ook blijkt dat de rondgang van alles kan betekenen. Soms duidt rondgang op een integraal onderzoek. Hier zijn drie voorbeelden:

  • Steeds meer mensen betalen de premie voor hun zorgverzekering niet meer of hebben grote moeite om die te betalen. Dat blijkt uit een rondgang van de NOS bij de zorgverzekeraars.
  • De aanwas aan piloten neemt dit jaar flink af. Dat is voor het eerst sinds het begin van de crisis. De afname blijkt uit een rondgang van NOS op 3 langs alle vliegscholen in Nederland.
  • Steeds minder clubs in het betaald voetbal krijgen financiële steun van de gemeente. Dat blijkt uit een rondgang van de NOS onder de steden met een profclub.

Alhoewel het niet expliciet wordt gemeld, lijkt het erop dat in bovenstaande voorbeelden steeds alle betrokkenen zijn benaderd. Als al die betrokkenen meedoen aan het onderzoek dan kunnen we uitkomsten vertrouwen. Maar pas op. Als sommige betrokkenen weigeren mee te werken aan het onderzoek, dan hebben we te maken met non-respons. Die non-respons kan al gauw leiden tot verkeerde conclusies.

Bij verder onderzoek van de NOS-website blijkt dat de rondgang ook wordt gebruikt in verband met steekproeven. Hier een paar voorbeelden daarvan.

  • De hoge temperaturen lijken niet te leiden tot grote drukte op de eerste-hulp afdelingen van ziekenhuizen van mensen met hitteklachten. Wel merkt een klein aantal ziekenhuizen dat er meer ouderen binnenkomen met uitdrogingsverschijnselen. Dat blijkt uit een rondgang van het ANP onder tien grote ziekenhuizen.
  • Steeds meer Nederlanders verkiezen een vakantie in eigen land boven een lange autorit naar Zuid-Europa. Uit een rondgang van de NOS langs verschillende campings blijkt dat de weerberichten vol zon en warmte leiden tot een toename van het aantal boekingen.
  • Internetgigant Google wordt door studenten in Nederland dit jaar gekozen als meest aantrekkelijke werkgever. Dat blijkt uit een rondgang van adviesbureau Universum onder 10.000 Nederlandse studenten.
  • Tien ziekenhuizen zijn niet alle ziekenhuizen, verschillende campings zijn niet alle campings en 10.000 studenten zijn niet alle studenten. Het is goed mogelijk om onderzoek te doen op basis van een steekproef, maar dan moet die steekproef wel op een verantwoorde manier zijn getrokken. Dat betekent dat de steekproef moet zijn geloot uit alle betrokkenen. Bij het eerste voorbeeld is dat duidelijk niet het geval. Er zitten immers alleen maar grote ziekenhuizen in de steekproef. Bij de andere twee voorbeelden wordt niet uitgelegd hoe de steekproef is getrokken.

Ook bij gebruik van steekproeven kan er non-respons optreden, met het risico van vertekeningen in de uitkomsten van het onderzoek. Helaas geven al die berichten daar geen uitsluitsel over. Daarom is het onmogelijk om die uitkomsten op juiste waarde te schatten.

Er staan ook nog berichten op de NOS-website waarbij het helemaal niet duidelijk is of het gaat om integraal onderzoek of een steekproefonderzoek. Hier een drietal voorbeelden:

  • Een halfjaar na de oprichting van de nationale politie is er irritatie tussen minister Ivo Opstelten en burgemeesters over de vraag wie gaat over de inzet van de politie. Dat blijkt uit een rondgang van NRC Handelsblad langs burgemeesters. Voor het eerst in jaren dalen de zorgkosten. Dat schrijft De Telegraaf op basis van een rondgang langs huisartsen, ziekenhuizen en zorgverzekeraars.
  • Fraude met voedsel wordt in Nederland niet of nauwelijks gemeld. Over de afgelopen twee jaar kreeg de NVWA zes meldingen van fraude, maar een rondgang van de NOS langs betrokkenen en deskundigen leert dat er in werkelijkheid veel vaker fraude wordt ontdekt.
opstelten500

Om te kunnen vaststellen of een onderzoek wel iets voorstelt, heeft het Centraal Bureau voor de Statistiek (CBS) samen met de Vereniging voor Onderzoeksjournalisten (VVOJ) en het Nederlandstalig Platform voor Survey-Onderzoek (NPSO) een ‘Checklist voor peilingen’ ontwikkeld. Die bevat negen vragen. Als alle vragen met ‘ja’ kunnen worden beantwoord, dan zou het wel eens een goede peiling kunnen zijn. Is het antwoord op één of meer vragen ‘nee’, dan zou er wel eens iets mis kunnen zijn. De uitkomsten zijn dan onbetrouwbaar.

Als de checklist wordt toegepast op de onderzoeken in bovenstaande berichten, dan wordt duidelijk dat er veel mis is: er is geen onderzoeksrapport, het is onduidelijk hoe de steekproef is getrokken, de non-respons is niet in kaart gebracht, er is niet voor de non-respons gecorrigeerd, onzekerheidsmarges ontbreken, enz. Kortom, al die rondgangen moeten met een korreltje zout worden genomen. Het is maar beter om al die rondgangen te vermijden als niet duidelijk is hoe het desbetreffende onderzoek in elkaar zit.