Een van de kenmerken van een steekhoudend argument is dat het bewijs voldoende is om de conclusie te kunnen aanvaarden. Bij oorzakelijke argumenten wordt doorgaans onder andere vereist dat een betekenisvol verband wordt gevonden tussen twee veranderlijken, zoals magneten en pijn en dat dat verband reproduceerbaar is. Het herhalen van een betekenisvol verband wijst er gewoonlijk op dat de bevinding geen toeval was of niet te wijten was aan een methodologische fout. Toch worden mij vaak artikels toegestuurd over alleenstaande studies en krijg ik het advies om mijn mening over een onderwerp te wijzigen. Zo hoorde ik bijvoorbeeld onlangs van Jouni Helminen dat "het tijd zou zijn om de webstek bij te werken wat betreft magneettherapie op fibromyalgia-patiënten". Jouni verwees me naar een artikel van de Universiteit van Virginia News. In mijn artikel over magneettherapie schrijf ik het volgende: "Er is zo goed als geen wetenschappelijk bewijs voor magneettherapie". Het artikel over een studie uitgevoerd naar het gebruik van magneettherapie om de fibromyalgia-pijn te verminderen wijzigde m'n mening niet. De studie, uitgevoerd door onderzoekers van de Universiteit van Virginia (UV), was gepubliceerd in het Journal of Alternative and Complementary Medicine (Magazine over alternatieve en aanvullende geneeskunde), dat meldt dat het "waarnemings- en analytische rapporten bevat van behandelingen die buiten het gebied van de allopathische geneeskunde vallen..."

De enige mensen die met de term allopathisch verwijzen naar de klassieke geneeskunde, zijn fanatieke tegenstanders van klassieke geneeskunde en zijn mogelijk niet de meest onpartijdige mensen om iets "alternatiefs" te beoordelen. Wat er ook van zij, de studie moet op de eigen waarde worden beoordeeld, niet op de vooroordelen van wie de studie publiceert. Bovendien moet het onderzoek los gezien worden van het persbericht dat de universiteit verspreidde. De kop van het artikel meldt "Magneettherapie levert beperkte mogelijkheid voor pijnonderdrukking". De eerste paragraag stelt dat "de resultaten van de studie niet afdoend waren". Niet veelbelovend. De onderoekers meenden dat magneettherapie de intensiteit van de fibromyalgia-pijn in één groep deelnemers voldoende verminderde om "klinisch betekenisvol" te zijn. Ik vermoed dat "beperkte mogelijkheid" zowat het midden houdt tussen "niet afdoend" en"klinisch betekenisvol". Dit is verwarrend.

Aan de universiteitsstudie namen 94 fibromyalgia-patiënten deel die willekeurig werden onderverdeeld in één tot vier groepen. Eén controlegroep "kreeg nepkussen die magneten bevatten die gedemagnetiseerd waren" en de andere controlegroep kreeg niets speciaals. Bij één behandelingsgroep werden de deelnemers "over het hele lichaam blootgesteld aan een laag, gelijkmatig statisch magnetisch veld met negatieve polariteit. De andere groep...[werd blootgesteld aan]...een laag magnetisch veld dat ruimtelijk en in polariteit varieerde. De deelnemers werden behandeld en gevolgd gedurende zes maanden."

"Drie pijnmetingen werden gebruikt: functionele status zoals gerapporteerd door deelnemers aan de studie op een gestandaardiseerde fibromyalgia-vragenlijst die over het hele land werd gebruikt, het aantal pijnlijke plaatsen op het lichaam en pijnintensiteitaanduidingen."

Een van de onderzoekers, Ann Gill Taylor, verklaarde: "Bij het vergelijken van de groepen vonden we geen betekenisvolle statistische verschillen bij de meeste resultaten." Taylor is een professor verpleegkunde en de directeur van het Centrum voor Onderzoek naar Aanvullende en Alternatieve Behandelingen bij de Universiteit van Virginia. "Maar we vonden wel statistisch significante verschillen in pijnvermindering voor één van groepen met actieve magneetkussens", zei Taylor. Het artikel vermeldt niet hoeveel metingen werden gebruikt.

Hoofdonderzoeker van de studie was Dr. Alan P. Alfano, assistent-professor fysiotherapie en rehabilitatie- en medisch directeur van het rehabilitatieziekenhuis van de universiteit. Alfano meende dat "het verrassend was een positief resultaat te vinden in de groepen met magneten, aangezien we maar weinig afweten over hoe magneten werken om pijn te verminderen." Eerlijk gezegd vind ik het verrassend dat Alfano dat verrassend vindt, aangezien het onwaarschijnlijk is dat hij het onderzoek zou hebben uitgevoerd mocht hij niet denken dat het gebruik van magneten tot pijnvermindering leidt. Zijn verklaring veronderstelt dat ze pijn proberen te verminderen en dat de taak erin bestaat een manier te vinden. Alfano zou ook gezegd hebben dat "de resultaten ons misschien vertellen dat deze therapie werkt en dat meer onderzoek misschien verrechtvaardigd is. Eén studie is niet voldoende om afdoende conclusies te trekken." Die laatste bewering is zeker correct. Zijn dubbel gebruik van het dubbelzinnige woord "misschien" toont aan dat hij beseft dat men zelfs niet op basis van één studie zonder omwegen verder onderzoek kan eisen, vooral als de resultaten niet zo indrukwekkend zijn.

Zonder te weten hoeveel metingen de onderzoekers hebben gebruikt is het moeilijk om het belang van een of twee resultaten als belovend te bestempelen. Rekening houdend met alle variabelen bij "pijn" en het meten van pijn, en de variaties tussen de patiënten die pijn ervaren (zelfs bij die patiënten die dezelfde ziekte hebben), is het niet meer dan normaal iets statistisch significant te vinden als je maar voldoende resultaten meet. Of het betekenisvol is, is een andere zaak. Een bekwame onderzoeker zou nooit sterke verklaringen afleggen over magneten en pijn op basis van één of twee statistisch significante resultaten van een studie waarvan de meeste resultaten geen significante zaken leverden.

Maar zelfs als de meeste resultaten van deze studie met 94 patiënten statistisch significant zouden zijn geweest, dan zou het nog geen sterk wetenschappelijk bewijs zijn voor magneettherapie. Het experiment zou herhaald moeten worden. In het licht van de hierboven vermelde variabelen, zou het niet verrassend zijn mochten andere statistisch significante resultaten worden gevonden bij een herhaling van het onderzoek. Verschillende studies zouden verschillende statistisch significante resultaten kunnen opleverenen een onderzoeker zou dan een meta-onderzoek kunnen doen en verklaren dat wanneer alle onderzoeken samen worden genomen, je dan één groot onderzoek met heel significante resultaten zou verkrijgen. In werkelijkheid zou je dan één misleidend onderzoek verkrijgen.

Indien andere onderzoekers de studie van de universiteit herhalen, enkel kijken naar het resultaat dat in het originele onderzoek statistisch significant was, en dezelfde resultaten verkrijgenin hun herhaald onderzoek, dan kunnen we besluiten dat dit veelbelovend is. Maar één herhaling betekent niet dat het oorzakelijke verband tussen magneten en pijnvermindering zonder twijfel vaststaat. Een onderzoeksteam kan dezelfde resultaten verkrijgen als een ander team, maar beide teams gebruikten misschien defecte toestellen van hetzelfde bedrijf. Of beiden gebruikten dezelfde foutieve subjectieve metingen om hun gegevens te beoordelen. Verschillende studies die geen significant voordeel voor magneten opleverden kunnen gevolgd worden door diverse studies die wel significante resultaten vinden, zelfs indien alle studies methodologisch correct zijn uitgevoerd. Waarom? Omdat he te maken hebt met mensen, bijzonder complexe organismen die niet noodzakelijk op dezelfde manier reageren op dezelfde behandeling. Zelfs één en dezelfde persoon reageert niet noodzakelijk op dezelfde manier op dezelfde behandeling maar op verschillende tijdstippen.

Dus, één enkele studie over iets als magneten en pijnvermindering kan moeilijk als een significant wetenschappelijk bewijs worden aanzien voor een oorzakelijk verband tussen beide. Op dezelfde manier is één enkele studie die geen significante resultaten vindt evenmin een bewijs dat magneten zinloos zijn. Maar wannneer tientallen onderzoeken weinig resultaten geven die zeggen dat magneten doeltreffend zijn in het bestrijden van pijn, dan lijkt het redelijk te besluiten dat er geen enkele reden is om te geloven in magneettherapie. En ik ben niet bereid die overtuiging op te geven op basis van een persbericht van de Universiteit van Virginia over hun klein onderzoek naar magneten en fibromyalgia.