Van Maanen Hans van Maanen
klikklikklikklik

Vrijetijdwetenschap

De Volkskrant, 11 juni 2011

‘Ouderen gelukkiger door populaire in plaats van elitaire cultuur’, stond boven het persbericht van de Universiteit van Tilburg. Volgens vrijetijdwetenschapper dr. Vera Toepoel kan de overheid zich daarom beter concentreren op laagdrempelige vormen van vermaak dan op het stimuleren van hogere vormen van cultuur, aldus het bericht. ‘Jan Smit helpt tegen eenzaamheid’, vatte Nu.nl het puntig samen. Het is een bevinding die zelfs Kamerleden die weinig met wetenschap ophebben nog wel eens van pas kan komen, dus interessant genoeg om te zien waar de onderzoekster het vandaan haalt.

Van een grote, langlopende internetenquête onder achtduizend volwassenen. Daarin werd onder meer gevraagd naar sociale integratie, eenzaamheid en vrijetijdbesteding, en die heeft Toepoel gebruikt voor een artikel in een wetenschappelijk tijdschrift.

Het ziet er niet naar uit dat de onderzoekster wist wat ze aan het doen was. Het artikel geeft, laten we het zo zeggen, het woord ‘vrijetijdwetenschap’ een geheel nieuwe betekenis. Een statisticus, een psycholoog of een socioloog zouden er onafhankelijk van elkaar een rolberoerte van krijgen, maar de International Journal of Disability and Human Development vond dat het wel door de beugel kon.

Toepoel onderscheidt drie groepen: volwassenen tot 55, ouderen van 55 tot 65, en 65-plussers. Die werden ondervraagd over hun familie- en vriendenkring, hun gevoelens van eenzaamheid en sociale integratie, en hun uitgaansgedrag — vier ‘lowbrow’ als popconcerten, dansfeesten en film, en zes ‘highbrow’ als opera, ballet en schouwburg. Die werden, met behulp van de statistiek, aan elkaar gekoppeld, samengevoegd en geklutst.

Om met de eerste tabel te beginnen — er is geen touw aan vast te knopen.

Toepoel ziet, in het bijschrift, het verschil niet tussen standaardafwijking en standaardfout — ze geeft standaardafwijkingen. Standaardfouten zouden ook niet erg informatief zijn met zulke grote groepen. Ze laat een schaal die volgens haar uitleg van 4 tot 28 moet lopen van 0 tot 4 gaan, scoort een plaatje met zeven afbeeldingen op een achtpuntsschaal, en voert in de voetnoot ‘vrienden’ op als variabele terwijl die verder nergens zijn te bekennen. Overigens, bij de sociale activiteiten waarnaar ze vraagt, stond steeds uitdrukkelijk ‘’s avonds’ — je kunt je voorstellen dat ouderen liever in de middag naar familie of vrienden gaan dan later op de avond.

De tien culturele activiteiten werden gescoord op 'ja/nee', dus geven percentages en geen gemiddelden (van de ondervraagden gaf bijvoorbeeld 30 procent 'ja' op de vraag of ze wel eens naar de schouwburg gingen). Dan heeft het geen enkele zin standaardafwijkingen te geven, want die zijn altijd gelijk aan de wortel uit p maal 1-p, dus voor 30 procent is dat Sqrt[0,3 x 0,7] = 0,46. Het staat wel gewichtig, natuurlijk. Let op het foutje onderaan, bij 0,32, dat percentage heeft 0,46 of 0,47 als standaardafwijking.

Belangrijker is, dat deze tabel in feite haar onderzoeksgroep beschrijft — niettemin laat ze er meteen een statistische toets op los om allerlei ‘significante’ verschillen te constateren. Sterker, het ene verschil is volgens haar ‘significant positiever’ dan het andere. Dat is een elementair onjuist gebruik van significantietoetsen en p-waarden: die zijn er om de houdbaarheid van nulhypotheses te toetsen, niet om kleine of grote verschillen tussen onderzochte groepen te constateren. Dat het dan nog niet correct is op percentages een ANOVA te doen, zullen we maar laten zitten.

Hoe dan ook, heel veel verschil tussen de groepen is er niet. De ouderen zijn wat tevredener en voelen zich sociaal geïntegreerder dan volwassenen tot 55 jaar, en ze geven zich een iets slechter rapportcijfer voor eenzaamheid: 6,2 tegen 6,5. En volwassenen gaan vaker naar dansfeesten dan 55-plussers.

Dan volgt de analyse. Er wordt in leerboeken steeds gewaarschuwd tegen het bijeengooien van veel variabelen in veel categorieën — tussen die veelkwadraat toetsen zitten altijd wel een stel significante — maar daar trekt Toepoel zich niets van aan. De verschillen zijn miniem, de steekproef is enorm, de significantie dus betekenisloos. Toepoel meet ruis, en doet alsof ze signaal heeft. En dat signaal is dan, zoals zij het presenteert, dat ‘een patroon van uitsluitend deelnemen aan lowbrow-activiteiten substantieel was geassocieerd met toegenomen gevoelens van sociale integratie.’

Als Toepoel alleen maar niet wist wat ze aan het doen was, zou het misschien nog niet eens zo erg zijn geweest. Maar ze weet drommels goed dat haar bevindingen haar conclusie niet toelaten. De opzet was, erkent ze aan het eind, misschien ‘niet optimaal’ om het verband tussen cultureel gedrag en sociale integratie te onderzoeken. Anders gezegd, er is geen enkele reden enig echt verband, laat staan enig oorzakelijk verband, te veronderstellen tussen concertbezoek en sociale integratie. Het zou zelfs zomaar andersom kunnen zijn, dat ouderen die geen partner meer hebben en eenzaam zijn, wat minder vaak samen naar de schouwburg of zelfs alleen naar dansfeesten (de beste ‘voorspeller’ van sociale integratie) gaan. Laat staan dat hieruit kan worden opgemaakt dat bevorderen van de ene activiteit meer bijdraagt aan het welbevinden van ouderen dan de andere.

En de vrijetijdwetenschapper wil aan haar wetenschappelijke artikel ook nog wel een beleidsadvies toevoegen: ‘Regeringen subsidiëren vaak highbrow-activiteiten om deelname te stimuleren. Door deelname aan lowbrow-activiteiten te stimuleren, groeit de tevredenheid met het leven bij oudere volwassenen.’

Het is niet alleen onzin, het is perfide onzin.