Een student die het heel goed deed in mijn cursus Logisch en Kritisch Denken, stuurde met het volgende nieuwsbericht samen met de suggestie dat ik mijn mening over maaneffecten zou herzien. Ik antwoordde hem dat ik misschien meer moest benadrukken wat ik onderwijs: Kijk naar wat niet in de studie wordt vermeld, niet enkel naar wat wel wordt vermeld. En vergeet niet hoe belangrijk de herhaling van een studie is.

Aug 11, 2003. (Bloomberg) -- Auto-ongevallen komen 14% meer voor tijdens volle maan dan tijdens nieuwe maan, volgens een studie van 3 miljoen autoverzekeringen bij de Churchill Verzekeringsgroep in Groot-Brittannië.

De gegevens vertonen een stijging van alle soorten ongevallen, zowel bij ongevallen met één auto als bij ongevallen waar meerder auto's zijn betrokken, meldt het bedrijf in een via e-mail verstuurd persbericht. De volgende volle maan is morgenavond.

"We weten dat de maan een sterke bron van energie is, aangezien het de getijden en weerpatronen beïnvloedt, maar we waren verrast door deze bizarre trend,'' zei Craig Staniland, hoofd van de wagenverzekeringen bij Churchill, in het bericht.

Het bedrijf, dat in juni door de Royal Bank of Scotland Group Plc werd gekocht van de Credit Suisse Group, vermoedt dat de oosterse conception van yin en yang het aantal ongelukken kan verklaren. Het citeert een expert in feng shui, Simon Brown, die zegt dat de volle maan meer yang-energie van de zon terugstraalt naar de aarde, wat mensen aggresiever en ongeduldiger maakt.

De verzekeraar zei dat het niets aan z'n beleid zou veranderen om met de volle maan rekening te houden, meldt het bedrijf nog.

Naast yin en yang kunnen er nog andere verklaringen zijn voor deze gegevens, maar vooraleer deze verklaringen te zoeken moet men zeker zijn dat er iets daadwerkelijk moet worden verklaard. De studie beweert dat er 14% meer ongevallen zijn tijdens nachten met volle maan, dan tijdens nachten met nieuwe maan. (Wanneer de maan vol is en het helder weer is, dan is het doorgaans heel klaar. Wanneer het nieuwe maan is, zelfs bij helder weer, dan zal de maan nauwelijks zichtbaar zijn.) De resultaten van één enkele studie kunnen tot vermoedens leiden maar geven gewoonljk geen uitsluitsel. Deze studie is misschien wel goed opgezet, maar er wordt ons niets verteld over de manier waarop ze verliep of hoe ze werd opgesteld, dus kunnen we niet zeker zijn. De Churchill Verzekeringsgroep heeft mogelijk een vlekkeloze studie in handen, maar ze namen de resultaten niet ernstig genoeg om hun criteria te wijzigen. Waarom niet? Ik weet het niet. Wat ik zoi willen weten is hoe de studie werd verricht.

Het persbericht vermeldt een studie van 3 miljoen autoverzekeringen maar dat is nogal vaag. Hebben ze drie miljoen verzekeringen geanalyseerd en die met aangifte gescheiden van die zonder aangifte? Vonden ze dan dat aangiften van ongevallen in nachten met volle maan 14% meer voorkwamen dan aangiften van ongevallen in nachten met nieuwe maan? Hielden ze rekening met het weer? D.w.z., bekeken ze hun gegevens opnieuw om er zeker van te zijn dat er evenveel stormachtige nachten waren met volle maan als met nieuwe maan? Zoniet hebben ze misschien enkel het gevolg van slecht weer gemeten, niet van maanfasen.

Over hoeveel ongevallen hebben we het? Zonder dat getal te kennen kunnen we niet vaststellen of de studie een voldoende aantal gevallen analyseerde. Maar zelfs al zou het om duizenden gevallen zijn gegaan, dan weten we nog niet over hoeveel tijd de studie werd uitgevoerd. Als het om een hele lange periode ging, dan zou het indrukwekkender zijn dan als de gegevens het resultaat zijn van een analyse op korte termijn. Waarom? Met een korte tijdsperiode is het risico op onregelmatige resultaten veel groter. Bijvoorbeeld, misschien bevatte de geanalyseerde periode twee volle manen in dertig dag en vielen beiden op zaterdag. Bij kleinere getallen wordt het belangrijker om rekening te houden met factoren als het weer of weekends.

We moeten weten exact hoeveel ongevallen in de studie werden behandeld, wanneer de gegevensgaring begon en eindigde, hoeveel nachten precies werden geanalyseerd, en hoeveel volle en nieuwe manen tijdens de studie voorkwamen. We moeten er ook zeker van zijn dat enkel ongevallen werden opgenomen die voorvielen na het opkomen en voor het ondergaan van de volle maan. Als ook de ongevallen van overdag of van voor het opkomen van de volle maan werden meegeteld, dan is de kans dat de maan er iets mee te maken had plots bijzonder klein.

Ten slotte, zelfs indien de studie gebaseerd was op voldoende gevallen over een gepaste tijd en enkel gegevens bevatte die het zou moeten bevatten (en dus geen gegevens bevat die het niet zou moeten bevatten), en zelfs indien de gegevens door professionele statistici op gepaste wijze werden geanalyseerd, dan nog zouden we moeten wachten tot de studie wordt herhaald vooraleer een verklaring te zoeken voor de stijging van 14%. Eén enkele studie met statistisch indrukwekkende resultaten is onvoldoende om als basis te dienen voor belangrijke beslissingen.

Nu is het proberen te bewijzen dat een statistisch resultaat het gevolg is van yin en yang iets helemaal anders. Ik heb er geen idee van hoe iemand een wetenschappelijke studie kan opzetten om die hypothese te testen.

Maar we kunnen tenminste één misverstand rechtzetten dat in dit persbericht voorkwam: de maan is geen sterke bron van zwaartekrachtenergie op aardbewoners. George Abell meent dat een mug jouw arm méér aantrekt dan de maan. Ivan Kelly stelt het zo: "Een moeder die haar kind vasthoudt "zal 12 miljoen maal meer getijdekracht op haar kind uitoefenen dan de maan."

Waarom zou iemand deze studie op gunstige wijze willen citeren? Voorkeur voor bevestiging. Als je al belooft in maaneffecten, dan bevestigt deze studie jouw geloof. Je zal minder kritisch zijn dan als de studie tegen je overtuigingen in gaat. Ook blijft de media het broodje-aapverhaal dat de maan een sterke energiebron is vertellen, waardoor vele mensen de indruk krijgen dat het waar is.

- naar les 7 -