Blog – Het belang van replicaties voor de geschiedwetenschap
Hoe komt het dat we er doorgaans op vertrouwen dat het juist is wat historici schrijven? Omdat ze open zijn over de bronnen waarop ze hun uitspraken baseren en omdat wij vertrouwen op de methodes die zij hanteren bij het verwerken van die bronnen. De voetnoten die historici in hun teksten plaatsen, werken daarom als een geruststelling aan de lezer. Zij zeggen: deze claims zijn juist en adequaat, volgens de regels van het vak gemaakt. Dit is een cruciaal aspect van geschiedschrijving. De claim tot wetenschappelijkheid van de geschiedwetenschap staat of valt met deze vorm van transparantie over de gebruikte bronnen en de gehanteerde methode.
Het geruststellende van de voetnoot zit in het feit dat hij ook een uitnodiging is – een uitnodiging die zegt: dit onderzoek kun je helemaal nalopen. Maar die invitatie blijkt er in praktijk vooral een uit beleefdheid, aangezien zij eigenlijk nooit wordt aangenomen. Bijgevolg zijn de noties van reproduceerbaarheid en repliceerbaarheid in de geschiedwetenschap tot nog toe vrijwel afwezig. Daardoor hebben historici de ophef en twijfel over reproduceerbaarheid, die nu al meer dan een decennium in zovele wetenschapsgebieden speelt, genoegzaam kunnen negeren. In vakgebieden van geneeskunde tot informatica en van psychologie tot scheikunde[1] hebben wetenschappers na alarmerende incidenten systematisch getracht in kaart te brengen hoe groot het probleem is. Ook zijn uiteenlopende initiatieven gestart om wetenschapsbeoefening betrouwbaarder en robuuster te maken door bijvoorbeeld preregistratie van uit te voeren onderzoek.[2] Vanuit de geesteswetenschappen klonk al die tijd vooral een oorverdovende stilte, op een enkel pleidooi voor reproductie en replicatie[3] – en een nadrukkelijke stellingname ertegen[4] – na.
De enkele gevallen waarin de impliciete pretentie van repliceerbaarheid in de geschiedwetenschap serieus werd genomen, blijken niet geruststellend. Een beroemd geval is Rachel Maines’s The Technology of Orgasm uit 1998, een gelauwerd boek dat nog altijd vaak wordt geciteerd. Desondanks biedt Maines een interpretatie die niet door de bronnen wordt ondersteund, zoals is gebleken uit het vernietigende artikel – in feite een replicatie – van Hallie Lieberman en Eric Schatzberg over dit boek.[5]
Voorbeelden als deze roepen de vraag op of voetnoten hun functie in de praktijk eigenlijk wel vervullen. Dat weten we dus helemaal niet zo goed. Des te verwonderlijker dat de systematische controle van gepubliceerde teksten binnen ons vakgebied zo ongebruikelijk is. Evenmin wordt een principiële discussie gevoerd in hoeverre onze decennia-oude, op een papieren wereld gebaseerde conventies nog voldoen als waarborg voor transparantie en wetenschappelijkheid in ons digitale tijdperk. Literatuur en primaire bronnen zijn dankzij digitalisering steeds eenvoudiger raadpleegbaar. We moeten niet vergeten dat de afwezigheid van replicaties van bestaand historisch onderzoek tot voor kort ook simpelweg praktische oorzaken had: het heeft veel tijd, geld en moeite gekost om archiefonderzoek over te doen, zonder het vooruitzicht van een beloning in het verschiet (in de vorm van publicatie of erkenning). Allicht dat historici altijd liever origineel onderzoek hebben gedaan. Maar nu de praktische bezwaren steeds meer wegvallen en de vraag naar repliceerbaarheid en transparantie wetenschapsbreed op tafel ligt, is het tijd voor historische replicaties.
Daarom hebben we aan de Universiteit Utrecht op kleine schaal geëxperimenteerd met historische replicaties in het project Once more, with feeling dankzij een beurs van het Open Science Fund. Met zes research master-studenten hebben we in groepjes drie geschiedwetenschappelijke publicaties getracht te repliceren. Dat betekende niet alleen het destilleren van claims, het minutieus napluizen van voetnoten en het overdoen van kwantitatieve of computationele analyses, maar ook hoofdbrekens over wat ‘repliceren’ of ‘reproduceren’ van historisch onderzoek feitelijk betekent en wat logische werkwijzen zouden kunnen zijn.
Onze inzichten en resultaten hebben geleid tot een white paper, dat als theoretische en praktische leidraad kan dienen voor replicaties in de geschiedwetenschap én als het startpunt van wat wij hopen dat een levendige discussie onder Nederlandse historici wordt over de zin van replicaties. Om een startschot te geven: ons project heeft ons geleerd dat historici minder transparant zijn dan ze denken te zijn. Wij zijn er daarom van overtuigd dat de geschiedschrijving kan profiteren van een sterkere bewustwording van noties als repliceerbaarheid en reproduceerbaarheid.
Het white paper is hier te vinden.
Pim Huijnen, Pieter Huistra en Auke Rijpma zijn historici verbonden aan de Universiteit Utrecht.
