In de wekelijkse rubriek Follow-up geven we een vervolg aan onze best gelezen verhalen. Deze week: hoe kan het dat gerenommeerde medische tijdschriften als The Lancet en de New England Journal of Medicine klakkeloos de resultaten van een onderzoek overnamen dat gebaseerd was op een onbetrouwbare dataset?
Het was een wetenschappelijke prestatie van formaat. Auteurs in The Lancet stelden dat covid-19-patiënten die het anti-malariamiddel hydroxychloroquine krijgen bijna de helft meer kans hebben te overlijden dan patiënten die het middel niet krijgen. Ze deden dat op basis van gegevens van 96.000 patiënten in meer dan zeshonderd ziekenhuizen. Op grond van deze studie staakte de WHO een internationaal onderzoek naar het effect van hydroxychloroquine, net als de Franse, Engelse en Australische overheden.
Alleen: de data bleken te mooi om waar te zijn. Het artikel werd door het merendeel van de auteurs ingetrokken. Net als een ander artikel – gebaseerd op dezelfde data in The New England Journal of Medicine. De reden: de onderzoekers bleken de data, die geanalyseerd waren door het bedrijfje Surgisphere, zelf niet te kennen. Daarom waren ze ook niet in staat om de ruwe data zelf te verifëren.
Gebruikelijk is dat gegevens worden gecontroleerd door collega-wetenschappers voordat een tijdschrift erover publiceert. Dat hoofdauteur, topwetenschapper Mandeep Mehra, hartchirurg en hoogleraar aan Harvard University, toch over de resultaten schreef, vindt onderzoeks- en wetenschapsjournalist Frank van Kolfschooten ,,interessant’’.
Vertrouwen
Van Kolfschooten: ,,Normaal gesproken zijn er lange samenwerkingsverbanden met mensen en kennen de wetenschappers elkaar. Dat leek hier niet het geval. Bij lange samenwerkingsverbanden is er sowieso meer vertrouwen. Kennelijk had Mehra toch vertrouwen, maar ten onrechte.’’ Volgens Van Kolfschooten heeft deze bijzondere actie ,,ongetwijfeld te maken heeft met de coronatijd’’.
,,Wat je nu bij voortduring ziet gebeuren, is dat procedures die normaal dit soort fouten moeten voorkomen en de kwaliteit van wetenschap moeten waarborgen, versneld worden afgewerkt of zelfs achterwege worden gelaten. Omdat er een enorm volksgezondheidsbelang mee gemoeid is.’’
Nobelprijswaardig
Daarnaast is ,,het natuurlijk wel een Nobelprijswaardig onderwerp’’, zegt wetenschapshistoricus Klaas van Berkel, emiritus hoogleraar geschiedenis. ,,Wie het eerste komt met het juiste vaccin om dit virus klein te krijgen, loopt een behoorlijke kans om in de prijzen te vallen.’’ Als argument voor een pre-publicatie kunnen wetenschappers dan gebruiken dat ze anderen ermee helpen, gaat Van Berkel verder. ,,Zodat die dan kunnen stoppen met soortgelijk onderzoek en over kunnen gaan op iets anders. Vaak staat er dan wel met kleine lettertjes dat de peer review nog niet gedaan is. Het is een hele mix van incentives om vroeg naar buiten te komen met resultaten.’’
Publicatiedruk
Zowel Van Berkel als Van Kolfschooten benoemen ook de publicatiedruk die er altijd al onder wetenschappers is. Van Kolfschooten: ,,De financiering van hele onderzoeksgroepen en afdelingen is gekoppeld aan het aantal wetenschappelijke publicaties. Mensen kunnen zich daardoor onder druk gezet voelen om snel te publiceren. Ook als het eigenlijk nog niet het publiceren waard is. Dat hoeven dan niet per se hele ernstige zaken te zijn, zoals gegevens totaal verzinnen of plagiëren. Maar bijvoorbeeld dat je eigenlijk wel weet dat je nog wat meer toetsingsexperimenten zou moeten uitvoeren. Of nog eens beter in de database moet kijken voor nog betere statistische analyse om de sterkte van een verband aan te tonen. Soms is daar gewoon de tijd niet voor.’’
In zijn boek Ontspoorde Wetenschap (2012) beschrijft en analyseert Van Kolfschooten vele voorbeelden van wetenschapsfraude en plagiaat. Onder meer wijdt hij uit over de affaire-Stapel. De vooraanstaand sociaal psycholoog Diederik Stapel die in zijn carrière, na onderzoek van de commissie-Levelt, bij 55 van zijn 130 publicaties bleek te hebben gefraudeerd. Aanleiding voor een uitgebreid onderzoek was onder meer een persbericht uit 2011 dat meldde dat vleeseters slechtere mensen zouden zijn dan vegetariërs. Dat bleek om ongepubliceerd werk te gaan. Nadien zijn de regels om naar buiten te treden met resultaten verscherpt. ,,Een universiteit mag nooit met resultaten naar buiten treden voor het door collega’s is getoetst.’’
Al sinds begin vorige eeuw
Wetenschapsfraude of plagiaat is niet iets van de laatste tijd, benadrukt Van Berkel. ,,Al sinds het begin van de vorige eeuw weten we waar onderzoek aan moet voldoen. Tegenwoordig is er alleen meer aandacht voor. Vanuit de wetenschap zelf maar ook door de media met een vak als wetenschapsjournalistiek.’’
Een van de eerste beschuldigingen van wetenschapsfraude die in de media terechtkwamen en waarbij onderzoekscommissies moesten beoordelen wat er mis was gegaan, was de zaak Henk Buck. ,,Twintig jaar later raakten de gemoederen nog steeds verhit over details’’, schrijft van Kolfschooten in zijn boek. De Eindhovense chemicus Buck verkondigde op 12 april 1990 een medicijn tegen het aidsvirus te hebben gevonden, een uitspraak die volgens de commissie-Lemstra te voorbarig bleek.
Foutloze wetenschap
Sowieso is er volgens Van Berkel een hele wereld tussen wetenschapsfraude en fouten. ,,foutloze wetenschap bestaat niet. Er zijn heel veel foute theorieën die een stepping stone waren voor een betere theorie. De geschiedenis van de wetenschap stikt ervan. Uit de oudere geschiedenis kun je denken aan Descartes. Diens botsingswetten waren bijna allemaal fout, maar zetten Christiaan Huygens wel op het spoor van eigen, betere, en goeddeels juiste, botsingswetten. En uit de wat modernere geschiedenis: de elektronentheorie van Lorentz die Einstein het opzetje gaf voor zijn theorieën. Een verkeerde voorstelling van zaken lokt vaak veel onderzoek uit dat anders niet of minder gedaan zou zijn.’’
Wetenschappers krijgen de vrijheid om hun hypothese te staven met onderzoek. Het is mensenwerk waarin ook fouten voorkomen. Van Berkel: ,,Er worden vaak genoeg voorbeelden van aanklachten van plagiaat en fraude genoemd. Als je er beter naar gaat kijken, ontdek je dat ze inderdaad niet correct waren. Eigenlijk ging het om niet meer of minder dan eenvoudige en onbenullige vergissing of slordigheid. Daarmee hoeft nog niet het hele resultaat van het onderzoek te worden weggeveegd. De buitenwacht vraagt vaak om foutloze wetenschap, helaas bestaat die niet.’’
Met de billen bloot
De onderzoeksresultaten van Surgisphere zijn voor Van Berkel een schoolvoorbeeld van hoe in een vroeg stadium grove fouten gedetecteerd moeten worden. Zowel Van Kolfschooten als Van Berkel zien nog wel dat de bladen Lancet en New England Journal of Medicine met de ,,billen bloot’’ moeten.
Er zit sowieso iets politieks aan, stellen beiden. Van Kolfschooten: ,,Een elitair, liberaal tijdschrift als de New England, moet echt helemaal niets hebben van Trump. Het was dus ook een prestige kwestie om Trumps uitingen over hydroxychloroquine heel snel te kunnen weerleggen.’’ Van Berkel: ,,Politiek speelt al gauw een rol. Of je publiceert of niet. Als je het niet publiceert komt het verwijt politiek correct te zijn.’’
