Een van de basisprincipes van een steekhoudende argumentatie is dat een steekhoudend argument alle relevante feiten voorlegt. Een argument waarbij relevante feiten worden weggelaten lijkt sterker en steekhoudender dan het in feite is.

Het bedrog met achtergehouden feiten komt voor wanneer de argumenteerder bewust relevante gegevens weglaat. Dit is een moeilijk te detecteren denkfout omdat we vaak niet kunnen te weten komen dat ons niet de hele waarheid is verteld.

Heel wat advertenties begaan dit bedrog. Advertenties informeren ons enkel over het gevaar van een product indien de wet dit verplicht. Advertenties zeggen nooit dat het product van een concurrent even goed is. De kool-, asbest-, nucleaire energie- en tabaksindustrie hebben bewust feiten achtergehouden met betrekking tot de gezondheid van hun personeel of de gezondheidsrisico's van hun industrieën.

Af en toe zullen wetenschappers bewijzen achterhouden, waardoor een studie belangrijker lijkt dan ze is. In de december 1998-editie van The Western Journal of Medicine publiceerden wetenschappers Fred Sicher, Elisabeth Targ, Dan Moore II en Helene S. Smith "A Randomized Double-Blind Study of the Effect of Distant Healing in a Population With Advanced AIDS--Report of a Small Scale Study." (Een willekeurige dubbelblinde studie van het effect van genezen op afstand op mensen met gevorderde AIDS--rapport van een studie op kleine schaal) (Zie mijn atikel op het Sicher-Targ rapport over genezen op afstand.) De auteurs melden niet, evenmin als The Western Journal of Medicine, dat de studie oorspronkelijk was opgezet en gesponsord om één specifiek effect te bepalen: dood. De studie van 1998 zou een opvolger moeten zijn van een studie uit 1995 die 20 patiënten met AIDS volgde waarvan er tien werden behandeld door paranormale genezers. Vier van de patiënten stierven, een resultaat dat perfect in overeenstemming is met de kansberekening, maar alle vier behoorden tot de controlegroep, wat de wetenschappers een voldoend afwijkend gegeven vonden om een verdere studie uit te voeren. Ik weet niet of feiten werden achtergehouden of dat de wetenschappers in kwestie incompetent waren, maar de vier patiënten die stierven waren tevens de vier oudste patiënten in het onderzoek. Het onderzoek uit 1995 hield geen rekening met leeftijd toen het patiënten ofwel in de controlegroep ofwel aan de genezersgroep toewees. Elke beheerste studie over sterfelijkheid die geen rekening houdt met leeftijd is per definitie een slecht opgezette studie.

Het vervolgonderziek hield echter wel feiten achter, en wordt toch "wijd en zijd erkend als dht wetenschappelijk meest rigoureuze poging om na te gaan of gebed kan genezen" (Bronson 2002). Standaard wordt een wetenschappelijk rapport begonnen met een korte inhoud van het rapport. De samenvatting voor het Sicher-rapport zegt dat controles werden uitgevoerd naar leeftijd, aantal als AIDS vastgestelde ziektes en aantal cellen. De patiënten werden willekeurig toegewezen aan de controlegroep of de genezersgroep. Het onderzoek volgde de patiënten gedurende zes maanden. "Na zes maanden toonde een blinde medische grafiek dat de paranormaal behandelde patiënten significant minder nieuwe AIDS-ziektes ontwikkelden (0,1 versus 0,6 per patiënt, P = 0,04), minder erge ziektes hadden (hevigheidsscore 0,8 versus 2.65, P = 0,03), en significant minder de dokter over de vloer kregen (9,2 versus 13,0, P = 0,01), minder in het ziekenhuis werden opgenomen (0,15 versus 0,6, P = 0,04), en minder lang in het ziekenhuis verbleven (0,5 versus 3,4, P = 0,04)." Deze cijfers zijn indrukwekkend. Ze tonen aan dat de gemeten verschillen niet aan het toeval te wijten zijn. Maar of ze aan de paranormale genezer te wijten zijn, is een geheel andere zaak, maar de wetenschappers besloten hun samenvatting met de bewering: "Deze gegevens ondersteunen de mogelijkheid van een effect van paranormale genezing bij AIDS en voeren de waarde van verder onderzoek aan." Twee jaar later kreeg het team, geleid door Elisabeth Targ, 1,5 miljoen dollar belastinggeld van de National Institutes of Health Center for Complementary Medicine (Nationale Gezondheidsinstituten voor Aanvullende Geneeskunde) om verder onderzoek te verrichten naar de genezende effecten van gebed.

Wat het Sicher-onderzoek niet onthulde was dat het originele onderzoek niet was opgezet om deze metingen te verrichten die zij als significant beschouwen. Natuurlijk, elke onderzoeker die geen significante bevindingen rapporteert omdat de originele studie die niet had onderzocht, zou nalatig zijn. In een standaard wetenschappelijk rapport kunnen dergelijke bevindingen vermeld worden in de samenvatting of in de discussiegedeelte van het rapport. Het Sicher-rapport had in het discussiegedeelte beter vermeld dat aangezien slechts één patiënt stierf tijdens hun onderzoek, het bleek dat de nieuwe geneesmiddelen die aan AIDS-patiënten als onderdeel van hun standaardtherapie wordt gegeven (drievoudig anti-retrovirale therapie) een significant effect hadden op levensduur. Ze zouden zelfs hebben kunnen suggereren dat hun bevinding verder onderzoek verrechtvaardigde naar de doeltreffendheid van de nieuwe geneesmiddelentherapie. Maar de samenvatting van het Sicher-rapport meldt niet eens dat slechts één van hun patiënten tijdens het onderzoek stierf, wat aantoont dat ze niet in staat waren een belangrijke bevinding op te merken. Het kan ook aantonen dat de wetenschappers helemaal niet wilden wijzen op het feit dat het originele onderzoek ontworpen was om het effect van genezen op afstand te bestuderen op het sterftecijfer van AIDS-patiënten. Aangezien slechts één patiënt overleed, dachten ze misschien dat ze niets te melden hadden.

Het was pas na het raadplegen van de gegevens na het einde van het onderzoek dat ze ten berde kwamen met de suggestieve en indrukwekkende statistieken die ze in hun gepubliceerde rapport naar voren brachten. Er is hier blijkbaar sprake van de denkfout van de Texaanse scherpschutter (<artikel nog toe te voegen>). In bepaalde omstandigheden is het perfect aanvaardbaar om met de verkregen resultaten je besluit uit te breiden. Bijvoorbeeld, als jouw oorspronkelijk onderzoek bedoeld was om het effect van een geneesmiddel op de bloeddruk te meten, maar je ontdekt na het krijgen van de resultaten dat de experimentele groep geen significante daling van de bloeddruk maar wel een significante stijging van het cholesterolgehalte vertoonde, dan zou je dit zeker moeten melden. Maar je zou je schuldig maken aan bedrog mocht je in het rapport doen alsof het onderzoek oorspronkelijk bedoeld was om het effect van het geneesmiddel op het cholesterolgehalte te meten en dus geen melding zou maken van de bloeddruk.

Het zou dus voor het Sicher-rapport gepast geweest zijn om in het discussiegedeelte te melden dat ze iets interessants hadden ontdekt in hun statistieken: het aantal verblijfdagen in het ziekenhuis en doktersbezoeken was lager voor de experimentele groep. Maar het was niet gepast om het rapport te schrijven alsof het een van de gevolgen was die de studie moest meten, terwijl dit gevolg niet was onderzocht noch ontdekt tot Moore, de statisticus voor het onderzoek, de cijfers begon te onderzoeken tot hij iets statistisch significants vond na het einde van het onderzoek. Dat was het enige wat hij kon vinden. Nogmaals, er is niets op tegen het grondig bekijken van de cijfers na het einde van een onderzoek; maar niet melden dat het rapport werd herschreven zodat het leek alsof het onderzoek net de bevindingen wou onderzoeken, is niet gepast.

Men had in het discussiegedeelte van hun rapport beter gespeculeerd over de reden voor deze statistisch significante verschillen in hospitalisaties en dagen hospitalisatie. Ze hadden kunnen speculeren dat een gebed al het verschil maakte en, waren ze competent geweest, zouden ze ook gemeld hebben dat het hebben van een verzekering ook heel wat uitmaakte. "Patiënten met een ziekteverzekering blijven doorgaans langer in ziekenhuizen dan mensen zonder verzekering" (Bronson 2002). De onderzoekers hadden dit kunnen nagaan en hun bevindingen meldden. Maar in plaats daarvan namen ze een lijst van 23 aan AIDS gerelateerde ziektes liet Sicher zo goed als mogelijk elk van de veertig patiënten screenen voor gegevens over deze 23 ziektes. Dit was pas nadat Sicher wist aan welke groep, genezingsgroep of controlegroep, elke patiënt willekeurig was toegewezen. Het feit dat de namen waren gewist zodat hij niet meteen kon weten van welke patiënt hij de gegevens bekeek, is niet voldoende om hem toe te staan de gegevens überhaupt te bekijken. Er waren slechts 40 patiënten in het onderzoek en hij kende elk van hen. Het zou beter geweest zijn mocht een onafhankelijke partij, iemand die niet bij het onderzoek betrokken was, de medische gegevens bekeek. Sicher is "een overtuigd gelover in genezen op afstand" en hij had 7.500 dollar betaald voor het eerste onderzoek (ibid.) naar gebed en sterfte. Hij was duidelijk niet onpartijdig, evenmint als de dubbelblinde kwaliteit van het onderzoek.

Er werden dus bijzonder veel significante en relevante feiten achtergehouden in het Sicher-onderzoek die, na bekendmaking, brandhout zouden hebben gemaakt van de reputatie als best ontworpen onderzoek ooit naar gebed en genezing. In plaats van aanzien te worden als een model van beloftevol onderzoek in het domein van spirituele wetenschap, zou dit onderzoek bij het vuilnis zijn beland waar het ook hoort.