bewust slechte wetenschap

De affaire kreeg de naam Sokal, een verwijzing naar de pionier inzake hoaxpapers Alan Sokal. Met Transgressing the Boundaries: Towards a Transformative Hermeneutics of Quantum Gravity nam hij in 1996 de Franse postmodernisten op de korrel door gepubliceerd te raken in een vaktijdschrift met wat hij zelf "een zinloze aaneenschakeling van woordenbrij" noemde. Een recentere heruitgave van hetzelfde concept vinden we bij Vlaams filosoof en scepticus Maarten Boudry. Die verwierf faam door onder een pseudoniem christelijke filosofen op gelijkaardige wijze voor schut te zetten.

Want daar gaat het bij hoaxpapers vaak om: ze worden gebruikt om slecht (pseudo-)wetenschappelijk onderzoek aan de kaak te stellen en hebben vaak meer het karakter van een aanklacht dan van hard bewijs. De schrijvers van zulke artikels menen dat als ze willekeurige rotzooi kunnen publiceren in een vaktijdschrift, dit een ernstig tekort aantoont van dat tijdschrift. Bij uitbreiding bestaat de school, of zelfs de gehele discipline waar dat tijdschrift deel van uitmaakt, vooral uit imposant jargon dat ten beste opgesmukt wordt met referenties naar enkele grote namen. Critici verwijten auteurs van hoaxpapers dan weer academisch onwaardig gedrag. Ze weerleggen, als ongeschoolden in het vakgebied, niets en tonen dan ook enkel aan dat sommige reviewers wat goedgelovig of onoplettend zijn.

penissen en klimaatopwarming 

Zo verging het ook filosoof Peter Boghossian en wiskundige James A. Lindsay die met hun nepartikel The Conceptual Penis in mei 2017 de draak staken met genderstudies, door een artikel te publiceren dat beweerde dat penissen (op een conceptueel niveau) klimaatsverandering veroorzaakten. Het artikel verscheen in een eerder marginaal tijdschrift dat haar schrijvers zelfs een bijdrage laat betalen om in aanmerking te komen voor publicatie. Volgens tegenstanders een goedkope stunt die op zich geen enkel bewijs is dat genderstudies als discipline met een intrinsiek probleem zit, nochtans het uitgangspunt van het duo.

Op de vraag of we correct aannemen dat hoog aangeschreven tijdschriften duidelijke, klassieke nepartikelen publiceren moeten we ondubieus ‘nee’ antwoorden.

Dus gingen Boghossian en Lindsay, vergezeld door mediëvist Helen Pluckrose, opnieuw aan de slag. Ze schreven op een dikke tien maanden twintig hoaxpapers voor een varia van academische tijdschriften. Ditmaal mikten ze op publicaties in zo hoog mogelijk aangeschreven tijdschriften van grievance studies. Met deze term verzamelden ze een aantal disciplines die zich volgens de auteurs schuldig maken aan een politieke bias. Genderstudies, postkoloniale studies, fat studies, queer studies en dergelijke meer zouden op Amerikaanse universiteiten enkel bepaalde uitkomsten (het problematiseren van respectievelijk mannelijkheid, whiteness of heteroseksualiteit) van onderzoek toestaan, ongeacht de kwaliteit. De hypothese was dat ze papers met ernstige tekorten en ethisch problematische conclusies verkocht konden krijgen zolang ze aan een bepaald ideologisch stramien voldeden.

De schrijvers geven in hun verslag toe dat het project aanvankelijk de mist in ging. “Op de vraag of we correct aannamen dat hoog aangeschreven tijdschriften duidelijke, klassieke nepartikelen publiceren moeten we ondubieus ‘nee’ antwoorden”. Een herhaling van The Conceptual Penis zat er dus niet in. "De vraag die volgde was: wat krijgen we wél gepubliceerd?"

oefening baart nep

Het trio kreeg, na zich dieper in de denkwijzen in te graven, een beter idee van welke ideologische bias ze moesten bespelen en welke taal ze moesten hanteren. De eerste geaccepteerde paper en tevens het kroonjuweel van het trio is de Dog Park paper. Die stelt dat hondenparken plekken zijn waarin verkrachting gedoogd wordt. Door de gedragingen van honden zorgvuldig te meten kunnen we volgens Dog Park trainingsmethoden extrapoleren naar mannen om hen af te richten om minder seksueel gewelddadig te worden. Deze paper kreeg uitzonderlijk veel positieve reacties en werd zelfs gevraagd om een ereplek in te nemen in de lustrumeditie van het tijdschrift Gender, Place, and Culture. Er zouden buiten Dog Park nog zes andere papers geaccepteerd worden, onder meer een herschreven versie van de antisemitische delen uit Mein Kampf in intersectioneel feministisch jargon.

Het project werd uiteindelijk ontbonden door de eigen opzet ervan. De Dog Park paper werd publiekelijk aan de schandpaal genageld door een Twitteraccount dat zich bezig houdt met het uitdagen van slecht onderzoek. Het tijdschrift dat haar publicatie van Dog Park wilde verdedigen, besefte plots dat de auteur niet bestond. Nadat ook journalisten zich op de zaak wierpen, zijn de spookschrijvers prematuur naar buiten getreden met onvolledige resultaten. Ze gaan ervan uit dat ze een aantal van hun nepartikelen die in revisie zaten ook gepubliceerd konden krijgen als dit niet was gebeurd.

De feedback die we kregen gaf vaak expliciet aan dat we meer politieke vooronderstellingen moesten maken, niet minder.

Toch is voor Boghossian, Lindsay en Pluckrose als conclusie duidelijk dat de peerreview, die een kritische blik op onderzoek zou moeten zijn, in deze disciplines over de jaren heen vervangen is door een confirmation bias. “Geen enkele van deze papers had gepubliceerd mogen raken (…). Als je ziet welke bronnen we hebben geciteerd, zal je merken dat wat wij in deze papers beweren niet ver af zit van de gemiddelde methodiek. De feedback die we kregen gaf vaak expliciet aan dat we meer politieke vooronderstellingen moesten maken, niet minder.” De vraag blijft natuurlijk of deze conclusie wel getrokken mag worden. Hoe bizar sommige geaccepteerde papers ook zijn, het feit dat men kritiek levert op het feit dat bedrog door peerreview raakt, maar de onderzoekers zelf ook toegeven dat ze zich eerst hebben moeten specialiseren in datzelfde bedrog. Dit verzwakt de argumentatie. 

de juiste diagnose?

Ook Dimitri Mortelmans, gewoon hoogleraar aan de Universiteit Antwerpen, reageert sceptisch. “Uiteraard bekijk je als reviewer de algemene kwaliteit van een paper. Maar tegelijk krijg je als reviewer artikels uit de domeinen die jou interesseren. Als iemand een technisch juist artikel schrijft op basis van vervalste data, dan is dat zeer moeilijk om te ontdekken. Wetenschap is gebaseerd op vertrouwen en dus vertrouw je er als reviewer ook op dat de data die gebruikt werden voor een onderzoek niet frauduleus zijn.”

Wetenschap is gebaseerd op vertrouwen en dus vertrouw je er als reviewer ook op dat de data die gebruikt werden voor een onderzoek niet frauduleus zijn.

Er is dus nog een ander probleem waarmee de hoaxers kampen. Ze moeten aantonen dat de symptomen die ze blootleggen ook daadwerkelijk behoren tot de ziekte. Dat is niet vanzelfsprekend. Zelfs auteurs die gewoon ‘eerlijk’ aan slecht onderzoek doen glippen al eens door de mazen van het net. In de psychologie spreekt men zelfs van een heuse replicatiecrisis omdat zoveel onderzoek faalt om gelijkaardige resultaten met verschillende methoden te creëren. Dimitri Mortelmans nuanceert verder: “In de psychologie is er nu een tendens naar open data, waarbij ook de data openbaar gemaakt moeten worden. Een goed initiatief, maar de vraag is of reviewers wel de tijd hebben om de data te controleren en uit te spitten. Dat is, gegeven de krappe agenda’s van professoren, wellicht ijdele hoop.”

gezonde wetenschap

In hun verslag geven de spookschrijvers aan dat niet noodzakelijk de publicaties zelf, maar wel de reacties van de reviewers het duidelijkst aangeven waar het probleem zit. In een van de hoaxes in revisie worden professoren aangezet om de meest geprivilegieerde (lees: witte, mannelijke, heteroseksuele studenten) te discrimineren. Door over hen heen te spreken, niet op mails of vragen te antwoorden en hen in kettingen op de vloer te laten zitten, zouden professoren een belangrijke educatieve waarde kunnen meegeven. De reacties van enkele reviewers: “Dit is een goed essay dat, mits revisie, een krachtige bijdrage kan leveren tot het aankaarten van epistemische ongelijkheid in het klaslokaal (...), het is geweldig hoe de auteur specifieke voorbeelden aanhaalt.” en “Ik vind dit een goed project. De inzichten van de auteur zijn een schot in de roos.”

Dat men in naam van het bestrijden van sociale ongelijkheid zorgeloos ethische kwesties naast zich neer kan leggen, baart dus toch zorgen. Maar ook op methodologisch vlak schort er het een en het ander. Je kan als reviewer misschien niet alle data controleren, maar als er sprake is van iets minder dan tienduizend hondengenitaliën zorgvuldig te hebben onderzocht, zou je toch verwachten dat er een belletje gaat rinkelen. De enige opmerking bij deze Dog Park paper ging over of de onderzoekers de privacy van de honden wel hadden gerespecteerd. 

De drie hoaxers benadrukken dat ze niet de wetenschap of peerreview zelf willen aanvallen. Het overgrote deel van de disciplines zit goed. Noch hebben ze principieel iets tegen studies die de ongelijkheid in de samenleving bestuderen. Maar de conclusies moeten na het onderzoek komen, niet het uitgangspunt zijn waar men naartoe wil werken. Of het nu bekeken wordt als goedkope stunt of correct uitgevoerd onderzoek, de schrijvers hopen dat de universiteiten de resultaten choquerend genoeg vinden om met alle ernst naar de betrokken vakgebieden te kijken en meer rigide eisen te stellen aan toekomstig onderzoek.