Op 't randje
“In de wetenschap bestaat er een kloof tussen wat onderzocht wordt, en wat er wordt gepubliceerd”, lees je op de website van het nieuwe Utrechtse tijdschrift JOTE. Een groep van elf PhD- en masterstudenten bedachten en ontwikkelden het tijdschrift en willen daarmee die kloof dichten.
Naar een biertje kijken heeft geen invloed op agressieve seksuele gedachten
Zo vind je er een publicatie van een waargebeurd, ‘mislukt’ experiment. Alcohol Cues and their Effects on Sexually Aggressive Thoughts, heet het. De wetenschappers herhaalden een experiment uit 2006 om het effect van alcohol te bepalen op agressieve gedachten. Het type experiment wordt ook wel een priming study genoemd. Deelnemers moeten een rij letters herkennen als een Engels woord. De snelheid van de reactie is dan een maat voor de hersenactiviteit. Sommige woorden waren nonsens (bijv. ‘wenct’ of ‘jork’), sommige woorden waren van agressief-seksuele aard (bijv. ‘grope’ of ‘rape’), weer andere woorden waren neutraal (bijv. ‘observe’ of ‘vanish’). De wetenschappers vroegen zich af: worden agressieve/seksuele woorden sneller herkend als er een foto van een biertje naast wordt getoond? Het experiment uit 2006 mat van wel. Maar bij herhaling kon dat niet worden aangetoond. Dat is een belangrijke wetenschappelijke conclusie, maar voor de redactie van een wetenschappelijk tijdschrift vaak niet boeiend genoeg.
Ook opvallend is het tweede deel van het artikel. De wetenschappers wilden graag nog iets onderzoeken: Hangt de reactiesnelheid op seksuele/agressieve woordherkenning samen met de mate waarin de deelnemer gender stereotypeert? Het is moeilijke om die vraag goed te begrijpen. Het is nóg moeilijker om daar een goed experiment omheen te ontwerpen. Het experiment schoot daarin ook te kort. De wetenschappers schreven dat eerlijk op: “due to faulty design considerations, such analyses were not possible.” Normaalgesproken is dat zeker geen resultaat om te publiceren. Maar in JOTE juist wél.
Wat is falen? Wat betekent een mislukt experiment?
Naast het uitbrengen van negatieve resultaten en ‘mislukte’ experimenten wil JOTE ook een platform bieden voor reflecties op die ‘mislukkingen’. Meer ervaren wetenschappers kunnen bijvoorbeeld context bieden aan gemaakte fouten en oplossingen aandragen. Ook nodigt JOTE denkers, zoals wetenschapsfilosofen en -historici, uit om te reflecteren op de gefaalde experimenten. Wat ging er fout? Wat zijn de aannames die achter het experiment schuilgaan?
In het geval van het artikel over alcohol en agressieve gedachten schrijft psycholoog dr. Ruud Abma een reflectie. Het mislukte herhalingsexperiment legt een structurele fout bloot, stelt Abma. Op het type psychologisch experiment dat de onderzoekers wilden repliceren, de priming study, valt namelijk nogal wat aan te merken. Want is de mens niet een te complex, te variërend studieobject voor zo’n experiment? Daarover lees je in zijn reflectieartikel Experiment and Fail meer.
De reflectie van Abma laat zien hoe een ‘mislukt’ experiment een interessant en belangrijke wetenschappelijke vraag oproept. Dáárom is zo’n mislukt experiment dus de moeite van het publiceren waard.
Gefaalde experimenten publiceren om fraude te voorkomen
Maar fouten publiceren kan nuttig zijn om meer redenen. Door openlijker te zijn over gemaakte fouten voorkóm je slechte wetenschap en soms zelfs fraude. Bioloog prof. dr. Hans Clevers , eerder hoofd van de Koninklijke Nederlandse Academie van de Wetenschappen, beschrijft in zijn lezing In de naam van de wetenschap hoe moeilijk het kan zijn om kritisch te blijven op je eigen onderzoek. Wetenschappers worden gedreven door nieuwsgierigheid, idealisme of ambitie. En precies dat kan gevaarlijk zijn. De eigen visie op de werkelijkheid kan verhinderen dat iemand openstaat voor de corrigerende werking van empirische gegevens. Met andere woorden: tegenbewijs wordt niet gezien. (Onbewuste) fraude ligt dan op de loer.
Zulk gedrag wordt gestimuleerd door de publicatiecultuur, stelt JOTE. In hun manifest noemen ze dat positive publication bias. Met een helder verhaal vol positieve uitkomsten heb je meer kans om gepubliceerd te worden. Experimenten die niet helemaal geslaagd zijn, of bewijs dat haaks tegen de hypothese ingaat, laat je dan liever achterwege. Daar sluit je even de ogen voor. Ik weet uit eigen ervaring dat zoiets heel snel gebeurt. Sterker, ik heb het zelf gedaan. Het droombeeld van een wetenschappelijke publicatie pronkt en lonkt aan de horizon. Publiceer je niet, dan kun je eigenlijk geen wetenschappelijke carrière maken. Samen werkt dat heel hypnotiserend.
In zijn lezing propageert Clevers dat een wetenschapper diens eigen zelfkritische vermogen moet ontwikkelen. Dat is lastig, erkent hij ook. Het helpt dan veel als je je onderzoek ook kunt publiceren wanneer er fouten gemaakt zijn. Waarin je tegenstribbelend bewijs niet hoeft weg te poetsen.
