Jongeren lijden aan Social Media Stress
Op maandag 7 mei 2012 melden verschillende media (NOS, Trouw, De Telegraaf) dat jongeren tussen 13 en 18 jaar lijden aan een serieuze vorm van Social Media Stress (SMS). De Sociale Media blijken met hun subtiele stimuli zoals geluiden, pushberichten, aandacht en beloningen jongeren in hun greep te houden. Dat zou blijken uit een onderzoek van de Nationale Academie voor Media & Maatschappij. Dat lijkt een ernstige zaak, maar kloppen de beweringen ook?
Volgens het onderzoek van de Nationale Academie voor Media & Maatschappij geven jongeren aan niet meer zelfstandig te kunnen stoppen, omdat zij bang zijn buitengesloten te raken. Wanneer deze angst ernstige vormen aanneemt kan men spreken van FOMO – Fear Of Missing Out. De Nationale Academie voor Media & Maatschappij pleit voor een nieuw bewustzijn en betere begeleiding van jongeren.
Dit lijkt op het eerste gezicht een ernstige zaak. Alvorens onmiddellijk in actie te komen, is het natuurlijk wel van belang om vast te stellen waarop deze beweringen zijn gebaseerd. Dan blijkt dat het de uitkomsten zijn van een onderzoek dat is uitgevoerd door de Nationale Academie voor Media en Maatschappij. Hoe goed is dit onderzoek geweest en hoe betrouwbaar zijn de uitkomsten? We gaan dit na aan de hand van de ‘Checklist voor peilingen’ die door het CBS is ontwikkeld samen met het Nederlandstalig Platform voor Survey-onderzoek (NPSO) en de Vereniging van Onderzoeksjournalisten (VVOJ).
De opdrachtgever en uitvoerder van het onderzoek is de Nationale Academie voor Media en Maatschappij. De twee directeuren van deze stichting zijn ook de opstellers van het rapport. Ze zijn ook de hoofddocenten van deze Academie. Die academie geeft cursussen op het terrein van de Social Media, zoals bijvoorbeeld een cursus ‘Social Media Professional’. De opdrachtgever van het onderzoek heeft dus belang bij de uitkomsten ervan. Daarmee is het onderzoek eigenlijk al gediskwalificeerd.
Op de website van de Academie staat het onderzoeksrapport. De beschrijving van de opzet en uitvoering van het onderzoek is zeer summier. De informatie is onvoldoende om te kunnen vaststellen of het om een correct onderzoek gaat. Na een verzoek daartoe per email werd meer informatie gestuurd. Toen werd ook duidelijk dat er van alles rammelde aan het onderzoek.
In eerste instantie lijk het onderzoek betrekking te hebben op jongeren tussen de 13 en 18 jaar. Het onderzoeksrapport beperkt zich echter tot jongeren in die leeftijdsgroep die de beschikking hebben over een smartphone met internetverbinding. Volgens het rapport zou dat 76% van de jongeren zijn.
De vragenlijst is niet opgenomen in de onderzoeksverantwoording. Dus daarover valt weinig te zeggen. Als je de analyse van de uitkomsten leest, dan krijg je wel het gevoel dat alles erop gericht is om aan te tonen dat jongeren leiden aan Social Media Stress.
Uit nadere informatie van de Academie blijkt dat de steekproef niet netjes via loting is getrokken. De Academie beschikt volgens eigen zeggen over een groot netwerk van meer dan 850 jeugdprofessionals die, over het hele land verspreid, werken in het onderwijs, biblio- en mediatheek, jeugdhulpverlening of buurtwerk. Aan een selectie van deze jeugdprofessionals is gevraagd in hun eigen werkomgeving willekeurig jongeren in de leeftijd 13 tot en met 17 jaar uit te nodigen om aan het onderzoek mee te werken. Er werd vooraf niet verteld waar het onderzoek is vooraf over ging. De jongeren vulden de vragenlijst online in. Er deden zo 25 instanties mee met ongeveer 20 jongeren per instantie. Dit is een merkwaardige manier van trekken van de steekproef. Je kunt je afvragen voor welke populatie die steekproef representatief zou moeten zijn. Het netwerk van jongeren rondom jeugdprofessionals? En dan nog, deden al die uitgenodigde jongeren wel mee aan het onderzoek?
De steekproef bestond uiteindelijk uit 493 jongeren (240 jongens en 253 meisjes). Dat is dus een vrij kleine steekproef. Je moet daarom rekening houden met ruime onzekerheidsmarges (zelfs als de steekproef netjes was geloot).
Het hele probleem van de non-respons is genegeerd. Wat is er gedaan met de jongeren die wel werden uitgenodigd om mee te doen aan het onderzoek, maar dat niet wilden. Is er sprake van selectieve non-respons? Waren die jongeren anders? Hadden ze, bijvoorbeeld, misschien geen smartphone? De onderzoekers hebben de non-respons niet in beeld gebracht er al helemaal niet voor gecorrigeerd.
De onderzoekers hebben de uitkomsten wel gewogen. Sterker nog, ze zeggen dat ze een CBS-weging hebben uitgevoerd en dat daarom het onderzoek representatief is. Bij navraag blijkt echter dat er alleen gewogen is naar geslacht. Dat was niet nodig, want er zaten al ongeveer evenveel jongens en meisjes in de steekproef. Dus de weging doet helemaal niets.
Je komt het wel vaker tegen dat onderzoekers claimen dat hun uitkomsten goed zijn omdat er met CBS-cijfers wordt gewogen. Het CBS levert hiervoor zelfs een hele set tabellen aan de MOA, de club van marktonderzoekers. Dat wordt de ‘Gouden Standaard’ genoemd. Je kunt je afvragen of het CBS wel blij moet zijn met dergelijke claims.
De onderzoekers van de Nationale Academie voor Media & Maatschappij vermelden geen onzekerheidsmarges bij hun uitkomsten. Dat kan ook niet vanwege hun krakkemikkige steekproeftrekking. Als eerste indicatie zou je toch minsten de marges kunnen vermelden die gebaseerd zijn op een aselecte steekproef.
Als je het onderzoeksrapport leest, dan kun je je afvragen in hoeverre de conclusies van de onderzoekers worden onderbouwd door de cijfers. Een voorbeeld: op de stelling ‘Ik voel me gestrest als ik merk dat ik niet alles kan bijhouden in de Sociale Media’ zegt 50% dat dit helemaal niet het geval is. 27% is een beetje gestrest en 23% is helemaal gestrest. Helaas wordt daarbij niet aan de jongeren uitgelegd wat wordt bedoeld met ‘gestrest’. En aangezien het alleen maar gaat om jongeren met smartphones (76%) kun je dus hooguit zeggen dat niet meer dan 38% enigszins of helemaal gestrest is. En dat is iets heel anders dan de conclusie van het rapport dat ‘jongeren leiden aan Social Media Stress’.
Samenvattend zal het duidelijk zijn dat dit een slecht onderzoek is. Het is daarom jammer dat de media er zo bovenop zijn gesprongen en niet eerst wat kritischer naar het onderzoek hebben gekeken. Maar ja, daarvoor was het onderwerp natuurlijk te leuk. Overigens meldt Aletta Oosten, adjunct-hoofdredacteur van NOS Nieuws nog op een forum dat de NOS voor publicatie de onderzoeksopzet en de resultaten heeft voorgelegd aan een hoogleraar van de Universiteit Twente. Deze noemde de uitkomsten betrouwbaar. Ben benieuwd welke hoogleraar dat was …
