Goochelen met getallen

Cijfers in het nieuws zijn als foto's in het nieuws. Ze kunnen schokkend en overtuigend zijn - 'Autodiefstallen met 6 procent gedaald', 'Elk glas alcohol verhoogt de kans op borstkanker met 13 procent', 'Een op drie kinderen pleegt delict' - maar ze kunnen ook misleiden. Hoe zat het met het aantal autodiefstallen in de jaren daarvoor? Is een verhoging van 13 procent iets om echt rekening mee te houden? Wat verstaan de onderzoekers allemaal onder 'delict'? Pas als het complete beeld geschetst wordt, de cijfers in een context geplaatst worden en hun ontstaansgeschiedenis wordt geschetst, weten we zeker dat ze een eerlijk beeld van de werkelijkheid geven. Langzamerhand raken we vertrouwd met het feit dat nieuwsfoto's kunnen liegen en bedriegen en ingezet worden door belanghebbende partijen die de opinie naar hun hand willen zetten. Maar we zijn er nog amper op bedacht dat, bijna nog meer dan foto's, ook cijfers geretoucheerd, bijgewerkt en uitgesneden kunnen worden, en gewoon kunnen liegen. Juist omdat ze zo koel en objectief klinken.

In Goochelen met getallen probeer ik wat gereedschap te bieden om de stortvloed aan cijfers in het nieuws althans enigszins de baas te worden. Gereedschap voor eenvoudige klusjes - hoe zat het ook al weer met het gemiddelde, de mediaan en de modus? - maar soms ook voor het zware werk: dan passeren standaardafwijking, significantie en zelfs de chi-kwadraattoets de revue. Afgewisseld met heuse, soms hilarische voorbeelden uit de journalistieke en wetenschappelijke praktijk.

Uitgeverij Boom, Amsterdam
ISBN 978-90-850-6835-8
Vierde, verbeterde oplage november 2018
Verkoopprijs 21,50 euro

'... En het is een genoegen om aan de hand van bovenmeester Van Maanen onderricht te worden ...' - Rob van den Berg, NRC Handelsblad

'... is verplichte kost voor degenen die beroepshalve met tabellen en grafieken worden doodgegooid — politici, beleidsmakers, journalisten dus ...' - Sjaak Priester, De Volkskrant

'... komt in dit vlot geschreven boek met tientallen voorbeelden uit de Nederlandse dagbladen. Deze krant wordt daarbij niet ontzien ...' - Trouw

'... Met veel voorbeelden laat Van Maanen zien hoe statistieken ons bedriegen én hoe je daardoor heen kunt prikken ...' - Rik Peters, Kijk

'... is een aanrader voor iedereen die wel eens een conclusie uit een tabel vol getallen trekt: of je nu journalist, theaterdirecteur of leraar bent ...' - Wiskundemeisjes

'... Intussen zijn de bloopers natuurlijk gewoon alibi voor een stevige spoedcursus statistiek ... ' - Maarten Keulemans, Natuurwetenschap & Techniek

'... Het is een medicijn tegen misverstand en misleiding in krant en wetenschap ... ' - Willem Bouwman, Nederlands Dagblad

Aanvullingen, correcties en meer vuile was

Inhoud

1. Autodiefstallen
Om warm te lopen eerst een hoofdstuk over autodiefstallen, en de manier waarop simpele cijfers in de krant en in de wetenschap worden gepresenteerd. Wat zijn de valkuilen waarop we meteen moeten letten?

2. Getallen groot en klein
De enige manier om cijfers bevattelijk te maken, is ze een context te geven. Cijfers zijn abstract want dat rekent makkelijk, maar om ze te beoordelen moeten ze weer terugvertaald en concreet gemaakt worden. Andersom, wie wil dat zijn cijfers lastig te interpreteren zijn, houdt ze liever abstract en geeft ze geen reliëf.

3. Percentages
Het lastige van percentages is, dat ze zo eenvoudig lijken. Zo eenvoudig, dat we er bijna altijd gedachteloos overheen lezen. Terwijl het toch snel mis kan gaan. Wat staat er in de teller, wat in de noemer, en waarom?

4. Verhoudingen
Het lijkt wat vreemd om na de percentages nog eens over verhoudingen te beginnen: percentages zijn immers niet anders dan verhoudingen maal honderd procent. Maar het gaat hier om verhoudingen die vooral in de medische wereld veel en achteloos worden gebruikt, en die soms een gevaar op de weg naar de waarheid vormen. Over verhoudingen van verhoudingen, odds-ratio’s en relatieve risico’s.

5. Zonlicht maakt bijziend
Kranten nemen berichten uit de wetenschap veel te makkelijk voor waar aan — het is wetenschap, dus het zal wel goed zijn. Maar op wetenschap valt altijd af te dingen. Een eerste voorbeeld levert een Israelisch onderzoek naar het verband tussen bijziendheid en geboortemaand.

6. Meten en precisie
Elk getal is de uitkomst van een meting (of desnoods een schatting). Bealngrijk is daarom steeds de vraag: hoe hebben ze dat gemeten, en hoe nauwkeurig hebben ze dat kunnen meten? De onzekerheid van de uitkomst is soms interessanter dan de uitkomst zelf.

7. Onzinnige wereldrecords
Het toekennen van wereldrecords in sporten als zwemmen, hardlopen en schaatsen getuigt van een nogal optimistische kijk op meetnauwkeurigheid. Tijd is misschien tot op een duizendste te meten, maar hoe zit het met de lengte van de baan?

8. Gemiddelden
Met gemiddelden is het net als met percentages: ze lijken zo vanzelfsprekend dat niemand er verder over nadenkt. Toch ligt ook bij het gemiddelde de misleiding op de loer. Welk gemiddelde wordt bepaald, en waarom? Geeft het gemiddelde wel een goede samenvatting van de gegevens?

9. Spreiding
Zo vertrouwd als het gemiddelde is, zo onbekend is de spreiding. Terwijl het toch, voor iedereen die met cijfers werkt, een zeker zo belangrijk begrip is als het gemiddelde. Een kind dat allemaal zessen op het rapport haalt, zit anders in elkaar dan een kind dat vieren en achten haalt.

10. De normale verdeling
De ‘normale verdeling’ is de wiskundige uitwerking van wat gewone mensen een normale verdeling zouden noemen: de meeste uitkomsten rond het gemiddelde, met een geleidelijke uitloop naar boven en naar beneden. Dankzij de wiskunde kunnen we er veel meer over zeggen.

11. Veel koffie is goed
Nu eens is het koffie en alvleesklierkanker, dan weer veenbessen en blaasontsteking, een volgende keer thee en depressie. De krantenlezer wordt er bijna mee doodgegooid — de ene keer is het er goed voor, de andere keer slecht. Laten we eens zo’n bericht bij de kop nemen — over het verband tussen koffiedrinken en voortijdige sterfte.

12. Kans en geluk
Mensen zijn opmerkelijk slecht in het schatten van kansen, laat staan in het betrekken van kansen in hun rationele overwegingen. Onze hersenen zien liever mooie patronen en regelmatigheden dan stom toeval.

13. Risico’s groot en klein
Wat is riskanter, een reis met het vliegtuig of met de auto? Een simpele vraag, met een ingewikkeld antwoord. Wat heeft u liever naast de deur, een kerncentrale of een vuilstortplaats? Wat voelt beter, tien procent kans om te overlijden, om negentig procent kans om te overleven?

14. Hoe pak ik een terrorist?
Het zoeken naar een speld in een hooiberg is onbegonnen werk. Het probleem is niet, zoals je allicht zou denken, dat je de speld nooit zal vinden, maar dat je telkens denkt dat je hem gevonden hebt. Over boeven, base rates en bevolkingsonderzoek.

15. Eerherstel voor Buikhuisen
Hoe uit een wetenschappelijk rapport over agressieve delinquenten precies het ene cijfer geplukt kan worden dat van pas komt. ‘Bij de groep die zonder het te weten vitaminen, mineralen en (omega 3) vetzuren kreeg namen agressie en regelschending met 34 procent af.’

16. Betrouwbaarheid
Waarin de ‘precisie’ van een meting nader wordt gepreciseerd aan de hand van het 95%-betrouwbaarheidsinterval, de standaardfout en de steekproefgrootte. En het aantal branden in Ons Dorp.

17. Negen maanden later…
Je kunt er haast vergif op innemen. Is er ergens een stroomstoring, een sneeuwstorm, een wereldkampioenschap voetbal? Negen maanden later komen kranten, radio en televisie met het bericht dat er opeens heel veel baby’s zijn geboren. Met een vette knipoog, uiteraard, want wat moet je anders doen in het donker, de kou of de feestroes?

18. Significant en betrouwbaar
‘Significantie’ is het toverwoord van de wetenschap. Een ‘significant resultaat’ is aanleiding voor feest in het laboratorium. Het opent deuren die voor anderen gesloten blijven. Het werpt rookgordijnen op die vrijwel ondoordringbaar zijn en het slaat twijfelaars de wapens uit handen. Het wordt, zoals het hoort bij toverwoorden, te pas en te onpas gebruikt.

19. Statistiek op de plaats delict
Als we met ‘significantie’ bedoelen dat de uitslag van een experiment te extreem is om aan het toeval te kunnen wijten, hoe noemen we het dan als een uitslag die niet extreem genoeg is om aan het toeval te wijten? Die precies uitkomt op wat we verwachten? We hoeven het niet meteen ‘oplichting’ te noemen, maar twijfel is op zijn plaats.

20. De toets der kritiek
Hoogste tijd om met een paar puntige voorbeelden te zien waar het zo vaak om draait in de statistiek. Wat houdt een statistische toets nu in? Hoe berekenen we of een uitslag van 13–7 nog aan het toeval geweten kan worden? Of een stijging van 23 naar 28 procent ‘significant’ is? Een kijkje achter de schermen.

21. Hart voor Oranje
We gaan, om de zinnen te verzetten, voetballen — althans, naar voetbal op televisie kijken. Voor mannen met een zwak hart een gevaarlijke tijdspassering, beweerden Utrechtse epidemiologen in december 2000. Hoewel hun onderzoek vol gaten zat, kregen ze later toch een beetje gelijk.

22. Verbanden
Worden er bij volle maan meer auto’s gestolen dan bij nieuwe maan? Neemt de kans op een hartinfarct toe naarmate iemand meer grijze haren heeft? Zijn sterren heter als ze blauwer zijn? Krijgen intelligente moeders intelligente dochters?

23. Mannen en seks
Vooral in de psychologie en de sociologie leidt regressieanalyse nogal eens tot onoverzichtelijke tabellen en merkwaardige conclusies. We kiezen een vrij willekeurig, maar aansprekend voorbeeld uit de wetenschappelijke literatuur: in hoeverre laten mannen zich beïnvloeden door het beeld van ‘echte mannen’ zoals ze dat in de film en op televisie zien, en met welke factoren hangt dat samen?

24. Opiniepeilingen
Wat hebben opiniepeilingen met cijfers te maken? Weinig, zou je kunnen zeggen. De waarde van opiniepeilingen wordt bepaald door de representativiteit van de steekproef en de kwaliteit van de vragen. Wie bij opiniepeilingen pleit voor het nauwkeurig vermelden van de grootte van de steekproef en het betrouwbaarheidsinterval van de percentages, probeert de aandacht van de echte kwesties af te leiden. De cijfers zijn, in zekere zin, het minste probleem.

25. Schijnverbanden
Geen wetenschapsterrein is zo bezaaid met valkuilen als de statistiek. In de laatste drie hoofdstukken tonen we een paar van de belangrijkste — ze leveren niet alleen vermakelijk leesvoer op, maar ook belangrijke waarschuwingen. Een faux pas is zo gezet.

26. Seksisme op Berkeley
Terug naar het begin, naar de percentages, de odds-ratio’s en de relatieve risico’s. Zelfs als we denken die helemaal onder de knie te hebben, kunnen we nog op het verkeerde been worden gezet door de paradox van Simpson. Een aardig, maar leerzaam curiosum.

27. Terug naar de middelmaat
De beroemdste, en gevaarlijkste, valkuil hebben we voor het laatst bewaard: de valkuil van de ‘regressie naar het gemiddelde’. In elk veld liggen er wel een paar verborgen, en zelfs de meest geleerde statistici trappen er af en toe in. Al zijn ze er nog zo voor gewaarschuwd.