Dokter Alan Hirsch verklaart dat hij "De grootste expert ter wereld is in geur en smaak". Hij is een arts - eigenlijk een psychiater - die enkele magische kristallen heeft ontwikkeld die "zullen helpen bij het beperken van de eetlust en wraatzucht". Je kan alles over deze kristallen, die hij SprinkleThin™ noemt, lezen op zijn webstek. Op 25 juli 2005, las ik de volgende getuigenis op die webstek.

Dateline NBC onderzoekt SprinkleThin

“Wat Dokter Hirsch heeft ontdekt, zou ik kunnen verrassen. [Bepaalde geuren] lijken de eetlust te sturen. Dokter Hirsch onderzocht 2700 mensen gedurende zes maanden, zoals de zes mensen die we ontmoetten. Ze probeerden zowat elk mogelijk denkbaar dieet uit. Dokter Hirsch gaf hen speciale, calorievrije geparfumeerde kristallen en vroeg hen er hun voedsel mee te bestrooien.

Alle deelnemers hielden een videodagboek bij voor Dateline om te bewijzen dat ze het product gebruikten. Na drie maanden gingen we bij hen langs en bleken ze allemaal gewicht te hebben verloren.”

Wat is er foutief aan het onderzoek van Dateline? Onder andere dat Dateline geen controlegroep had. Dokter Hirsch zegt dat hij al 25 jaar lang eetgedrag en gewichtsverlies heeft onderzocht. Hij zegt dat hij heel wat onderzoek heeft verricht, maar als zijn onderzoek verliep zoals dat van Dateline, dan hebben ze weinig wetenschappelijke waarde.

Wat is een controlegroep en waarom is dat zo belangrijk?

Een goed opgezet onderzoek naar dieetkristallen zou gebruik maken van twee controlegroepen. De groep die de kristallen krijgt, wordt dan de experimentele groep genoemd. De controlegroep zou een groep zijn die idealiter identiek zou zijn aan de experimentele groep behalve dat ze geen kristallen gebruiken. Dit ideaal kan nooit helemaal worden bereikt met mensen, in het bijzonder wanneer een onderzoek wordt verricht naar gewichtsverlies, omdat (a) gewichtsverlies beïnvloed wordt door heel wat factoren (motivatie, eetgedrag, hoeveelheid activiteit - vooral beweging, algemene gezondheid, metabolisem, stress, enz.) en (b) experimentatoren kunnen mensen in opsluiten in hokken om er zeker van te zijn dat ze doen wat ze geacht worden te doen voor het onderzoek. En goed opgezet onderzoek zou op z'n minst een controlgroep hebben en proberen om de leden van die groep zo goed mogelijk te doen overeenstemmen met de leden van de experimentele groep voor factoren die een duidelijke invloed kunnen uitoefenen op het resultaat. Bijvoorbeeld, als je een onderzoek zou doen naar het effect van gebed op de levensduur van aan AIDS lijdende patiënten, dan zou je er moeten voor zorgen dat de leeftijden van de deelnemers in beide groepen gelijk zijn. Het zou geen eerlijk onderzoek zijn mocht de ene groep bestaan uit zestigplussers en de andere uit twintigers.

Een controlegroep laat de wetenschapper toe om een oorzakelijke hypothese te toetsen. In dit geval is de hypothese dat SprinkleThin™ een significante oorzakelijke factor is bij het verkrijgen van gewichtsverlies.

Zonder een controlegroep kan een wetenschapper er niet zeker van zijn dat de dieetkristallen daadwerkelijk hebben bijgedragen toe het gewichtsverlies of, als ze dat wel deden, op welke manier. Het is mogelijk dat het placebo-effect hier van tel is: de diëters geloven misschien zozeer dat deze kristallen hun smaak en geur zullen beïnvloeden dat hun eetlust wordt geremd. Ze bedriegen zichzelf misschien, maar de kristallen helpen sowieso. Hoewel, gepoederde kevermest kan hetzelfde effect hebben. De dieetwetenschapper wil niet enkel mensen helpen gewicht te verliezen. Als een product werkt, wil hij ook weten waarom het werkt.

Dateline (en dokter Hirsch) zouden niet louter de kristallen mogen geven aan diëters en kijken of ze gewicht verliezen. Ze zouden een controlegroep moetten hebben van gelijkaardige mensen die ook willen afvallen en heb een placebo geven, een substantie die lijkt op de dieetkristallen en die op dezelfde manier moet worden behandeld, maar inert is. Ze zouden akkoord moeten zijn om de twee groepen gedurende langere tijd te onderzoeken, lang genoeg voor een dieet om resultaat te verkrijgen (ten minste enkele weken). Op het einde van het onderzoek moet dan het gewichtsverlies van beide groepen worden vergeleken. Als de experimentele groep significant meer is afgevallen dan de controlegroep, dan beschikken de wetenschappers over een goed bewijs dat de kristallen mogelijk doeltreffend waren. Er zijn echter diverse redenen waarom een eenmalig onderzoek niet als voldoende bewijs geldt om een oorzakelijke hypothese te staven. We hebben het later nog hierover.

Een controlegroep is noodzakelijk maar niet voldoende voor een goed opgezet controlegroep-onderzoek. Het onderzoek moet een voldoende aantal deelnemers tellen. Zes mensen is niet voldoende voor een onderzoek met controlegroep. Enkele honderden mensen zou beter zijn. Waarom? Met slechts zes mensen volstaat het dat één enkele deelnemer het uitstekend doet om het gemiddelde van de groep danig boven het gemiddelde van de andere groep te brengen. Het succes van deze ene persoon kan louter toevallig zijn. Door een groot aantal mensen te gebruiken, beperkt de onderzoeker de kans dat enkele toevallige individuen de resultaten verdraaien.

Een andere manier om toevallige resultaten te beperken is het willekeurig toewijzen van de deelnemers aan de controle- en de experimentele groep. Willekeur is bijzonder belangrijk om de kans op beïnvloeding van de deelnemers te beperken. Indien zwaar gemotiveerde mensen in de dieetkristal-groep worden geplaatst en een aantal luie zakken in de controlgroep, dan zullen de resultaten van het onderzoek beïnvloed zijn. Het is belangrijk dat een goede willekeurmethode wordt toegepast, zoals een tabel met willekeurige getallen. Je zou kunnen denken dat het toewijzen van alle deelnemers met donker haar aan de ene groep en de mensen met lichte haarkleur aan de andere groep voldoende zou moeten zijn. Je kan er echter niet zeker van zijn dat er geen relatie is tussen haarkleur en lichaamsgewicht. Het is onwaarschijnlijk, maar een wetenschapper mag niet louter op z'n gevoel afgaan als het om willekeur gaat.

Het is eveneens belangrijk dat de deelnemers aan het onderzoek niet weten of ze de magische kristallen dan wel het placebo kregen. Er bestaat veel controverse over de ethiek van het bedriegen van mensen, maar vanuit wetenschappelijk oogpunt zou het zelfs beter zijn mochten de deelnemers niet eens weten dat het om een onderzoek naar gewichtsverlies gaat. Als ze bijvoorbeeld denken dat het om een onderzoek gaat naar de werking van een nieuw geneesmiddel voor de bloeddruk, dan elimineer je dat zaken zoals motivatie om af te vallen of het geloof dat de kristallen smakelijke onderdrukkers zijn, mogelijke oorzaken van verkregen gewichtsverlies zijn. Maar vele of zelfs de meeste wetenschappers menen dat het onethisch is om deelnemers aan wetenschappelijk onderzoek om de tuin te leiden. De deelnemers hoeven niet ingelicht te worden over de groep waartoe ze behoren, maar ze zouden wel moeten weten dat ze willeukeurig werden ondergebracht in hun groep en dat ze aan het eind van het onderzoek zullen vernemen in welke groep ze zaten.

In veel onderzoek zouden niet alleen de deelnemers tijdens het onderzoek niet mogen weten tot welke groep ze horen, ook de experimentatoren zouden niet mogen weten welke deelnemers tot welke groep horen. Dubbelblinde onderzoeken vereisen minstens twee experimentatoren, één die de deelnemers verdeelt over de groepen en één die de gegevens bijhoudt. Mocht dokter Hirsch een dubbelblind onderzoek hebben verricht, dan zou een assistent de deelnemers willekeurig over de groepen hebben verdeeld. Dokter Hirsh of een andere assistent zou de deelnemers hebben gewogen en de gegevens hebben bijgehouden. Na het verzamelen van alle gegevens, wou dokter Hirsch het onderzoek 'ontblinden' en de gegevens van beide groepen vergelijken.

De laatste stap in een goed opgezet onderzoek is het analyseren van de gegevens. Je denkt misschien dat de wetenschappers de resultaten zouden bekijken en meteen kunnen zeggen of de kristallen werkten of niet. Dat zou enkel zo zijn als er bijvoorbeeld honderden deelnemers zijn in elke groep en de experimentele groep gemiddeld 25 kg verloor terwijl de controlegroep gemiddeld een kilo bijkwam. Als het onderzoek goed was opgezet, zou dergelijk resultaat bijna onmogelijk toeval kunnen zijn. Maar wat als de experimentele groep 2% meer gewicht verloor dan de controlegroep? Zou dat een significant verschil zijn? Om die vraag te beantwoorden, maken wetenschappers gebruik van statistische formules. Met een formule kan een gewichtsverlies van 2% statistische significant zijn. Maar als een gewichtsverlies van 2% betekent 400 gram over zes weken, dan zouden de meesten onder ons zeggen dat zelfs als het statistisch significant was, het niet belangrijk zou zijn en dat het gebruik van de kristallen het geld of het risico niet waard is. De kristallen zouden een slechte nevenwerking kunnen hebben die nog niet is ontdekt.

Het moraal van dit verhaal is dat de getuigenissen van zes mensen die het kristal gebruikten en afvielen een sterk effect kunnen hebben op televisiekijkers, een kritische denker zou zeggen dat zonder goed opgezette controlegroep die getuigenissen weinig of geen wetenschappelijke waarde hebben.

Een kritische denker weet ook dat informatie in een goede context moet worden geplaatst, wat een bepaalde achtergrondkennis vereist. Bijvoorbeeld, je zou moeten weten dat veel goed opgezette wetenschappelijk onderzoek significante resultaten verkrijgt die helemaal niet of niet op consequente wijze kunnen worden herhaald. Als er een oorzakelijk verband is tussen dieetkristallen en gewichtsverlies, dan zou dit niet sporadisch werken maar op consequente wijze, tenzij natuurlijk er zo vele factoren zijn die het lichaamsgewicht beïnvloeden dat het zo goed als onmogelijk is om de werkelijke doeltreffendheid van één van hen te isoleren. Een eenmalig onderzoek, ongeacht hoe goed opgezet of hoe significant de resultaten, verrechtvaardigt maar zelden het trekken van conclusies over oorzakelijke verbanden.

Ten slotte, zoals eerder vermeld, kunnen deze kristallen een schadelijk neveneffect hebben dat nog niet werd ontdekt. Met SprinkleThin™ val je misschien wel af, maar het zou je ook kunnen doden. Wat heb je dan gewonnen?

Postscriptum

Het type controlegroep-onderziek dat hierboven wordt beschreven wordt een parallel groeponderzoek genoemd. Maar zoals dokter Gerard Dallal schrijft: "Het vereist weinig ervaring met parallel groeponderzoek om te zien dat het mogelijk is efficiënter te werken door elke deelnemer beide behandelingen te laten ondergaan. De vergelijking van behandelingen zou dan niet langer beïnvloed worden door de verschillen tussen de deelnemers aangezien de vergelijking wordt gemaakt voor elk individu." Dergelijk onderzoek wordt crossover-onderzoek genoemd. Ze worden ten zeerste aangeraden.