Is station Overveen echt het beste station van Nederland?
Elk jaar peilen Prorail en NS de tevredenheid van de reizigers met hun station. Ook in 2021 was er weer een Stationsbelevingsmonitor. Bijna 77.000 reizigers gaven een rapportcijfer aan hun station. Winnaar werd station Overveen. Op de tweede en derde plaats eindigden de stations Driebergen-Zeist en Valkenburg. Kun je nu echt concluderen dat de reizigers Overveen het beste station van Nederland vonden? Nou, daar valt nog wel wat op af te dingen.
De peiling werd uitgevoerd door I&O Research in opdracht van NS en ProRail. Op alle stations werden reizigers op het perron gevraagd naar hun mening over dat specifieke station. Zo werden 76.930 reizigers geënquêteerd op bijna 400 stations. Ze gaven een rapportcijfer en vertelden waar er nog verbeteringen mogelijk zijn. Station Overveen won met een rapportcijfer van 8,2. De stations Driebergen-Zeist en Valkenburg werden tweede en derde, beide met een rapportcijfer van 8,0.
De vraag is nu of je echt kunt concluderen of station Overveen het beste station van Nederland is. Dan moet je weten hoe de gegevens zijn verzameld en of daarbij misschien problemen zijn opgetreden. De publicaties op het internet over de Stationsbelevingsmonitor 2021 gaven hierover onvoldoende informatie. Na contact met de onderzoekers via de website stations.nl van NS en ProRail, kregen we de volgende uitleg.
Dit onderzoek wordt op alle 394 stations uitgevoerd: reizigers die op het perron op de trein wachten worden benaderd om mee te doen aan het onderzoek. Indien zij instemmen krijgen zij een vragenlijst die zij ter plekke invullen en teruggeven aan de enquêteur. Er is dus geen sprake van non-respons.
In principe is er gepeild op alle bijna 400 stations in Nederland. Er is dus geen steekproef van stations getrokken. Het is een integraal onderzoek. Er is daarom geen sprake van onzekerheidsmarges.
De onderzoekers concluderen dat zich geen non-respons heeft voorgedaan. Deze conclusie is niet juist. Sterker nog, er doen zich twee vormen van non-respons voor: non-respons op het niveau van de stations en non-respons op het niveau van de reizigers.
In de eerste plaats is er sprake van non-respons op het niveau van de stations. Uit de gegevens blijkt dat voor 49 stations (12% van alle stations) geen rapportcijfer kon worden bepaald. Omdat er in 2021 door coronamaatregelen minder mensen met de trein reisden, waren er op sommige kleine stations onvoldoende reizigers om te enquêteren. Op deze stations (met minder dan 100 reizigers) heeft daarom geen peiling plaatsgevonden. En dus waren er een geen rapportcijfers.
Non-respons is vaak selectief. Dat betekent dat de uitkomsten van een onderzoek daardoor vertekend kunnen zijn. Dat gebeurt als de responderende stations systematisch afwijken van de niet-responderende stations. Dat kan hier heel goed het geval zijn. In deze peiling zijn het vooral de kleine stations die afvallen. Dus grote stations zijn oververtegenwoordigd in de peiling en kleine stations ondervertegenwoordigd. Een duidelijk voorbeeld hiervan is het station Klimmen-Ransdaal. Bij de vorige peiling werd dit station nog gekozen tot beste station, maar nu kwam dit station niet eens voor in de ranglijst. Het beste station was ineens weg! Je kunt je afvragen in hoeverre de 49 ontbrekende stations de ranglijst hebben beïnvloed. Misschien zou het rapportcijfer van Klimmen-Ransdaal wel hoger zijn geweest dan het rapportcijfers van Overveen.
Er is ook nog sprake van non-respons op het niveau van de reizigers. Enquêteurs vroegen aan de reizigers op de stations een vragenlijst in te vullen over hun station. Lang niet elke reiziger zal bereid zijn geweest dit te doen. Dus zijn sommige reizigers non-respondenten. De onderzoekers hebben geen informatie verstrekt omtrent de omvang van de non-respons per station. Bedenk hierbij dat een hoge non-respons op een station kan leiden tot een ernstige vertekening van het rapportcijfer.
Het is ook vervelend als de percentages non-respons verschillen van station tot station. Je weet dan niet meer of verschillen tussen stations ‘echte’ verschillen zijn of ‘kunstmatige’ verschillen (artefacten) die worden veroorzaakt door verschillen in responsgedrag.
Al met al lijkt het erop dat het ontbreken van 49 stations wel eens tot een peiling geleid kan hebben die niet representatief is voor alle stations in Nederland. En ook non-respons van reizigers kan hebben bijgedragen tot een mogelijke vertekening. Dus je kunt je afvragen of Overveen in 2021 inderdaad wel het beste station van Nederland was.
