‘Positieve publicatiebias schaadt de wetenschap’

'Positieve publicatiebias schaadt de wetenschap'

Journal of Trial and Error - Stefan Gaillard

Begin 2024 schopten UU alumni Stefan Gaillard (History and Philosophy of Science, 2018) en Martijn van der Meer (History and Philosophy of Science, 2018) het tot de Forbes 30 under 30 lijst, voor hun betrokkenheid bij de oprichting van Journal of Trial and Error(JOTE). Deze mijlpaal leek een mooie aanleiding voor een interview over het journal. Of het inderdaad de beste aanleiding was valt te betwisten, bleek tijdens het gesprek met Stefan.

'Ik vond dit soort lijsten als kind al heel tof,' vertelt Stefan enthousiast bij een vers sapje, 'dus ik vind het wel cool om er nu zelf op te staan. Iemand moet je nomineren en dan krijg je een aantal vragenlijsten toegestuurd die je moet invullen. Je moet echt over van alles en nog wat je mening geven, ook bijvoorbeeld over de Europese economie. Daar weet ik niet zoveel van, dus deelde ik gewoon mijn ideeën als leek. Ze bleven nieuwe lijsten sturen, dat zag ik als een goed teken. Wat grappig was: wij waren heel trots op het bedrag dat we hadden opgehaald voor het Journal, tot we zagen dat de anderen op de lijst een paar miljoen bijeen hadden gekregen…. Ze hebben onze - in vergelijking zeer bescheiden - opbrengst niet eens vermeld op de website. Het is overigens wel belangrijk om te vermelden dat Martijn en ik weliswaar op die lijst zijn gekomen, maar dat wij niet de enige oprichters zijn. De groep was groter: Max Bautista Perpinyà, Alex Visser en Nayra Hammann waren ook onderdeel van het team. Martijn, Max en ik zijn met z'n drieën doorgegaan na de start, Alex en Nayra bleven in de periferie betrokken.'

Jullie staan op een lijst met succesvolle mensen voor het oprichten van een tijdschrift over falen, dat lijkt tegenstijdig.

'We hebben alle drie verschillende opvattingen over wat falen is en in hoeverre de vermelding op zo'n lijst met invloedrijke mensen alsForbes 30 under 30 botst met het doel van het tijdschrift. Ik zie falen als 'opstapje' naar later succes. Het is noodzakelijk en belangrijk om dingen te proberen, en dus ook fout te doen, om verder te komen. Dat is uiteindelijk het doel.
Martijn is heel pragmatisch, hij is geen voorstander van zo'n ranglijst, maar ziet wel de voordelen van onze vermelding. Het is een manier om het systeem te gebruiken om vooruit te komen. We hebben verschillende verzoeken voor interviews en artikelen gekregen na de publicatie van de lijst. Max ziet er weer anders. Voor hem is het idee van een lijst met succesvolle mensen in strijd met de uitgangspunten waar we mee begonnen zijn. De kritiek dat in de academische wereld teveel nadruk ligt op succes, en zeker individueel succes, hoort voor Max bij de identiteit van JOTE.
Onderzoek wordt natuurlijk nooit gedaan door één persoon. Er is altijd een team, dat geldt ook voor JOTE. We zijn begonnen met z'n vijven, er zijn mensen opzij gestapt en anderen bij gekomen. Inmiddels is er een team van vijftien mensen waar we niet zonder kunnen. Toch zie ik de aandacht voor succes niet als verkeerd, ook niet voor individuele successen. We moeten de mislukkingen alleen niet negeren.'

In het begin durfde werkelijk niemand iets in te sturen.

Hoe is JOTE ontstaan?

Het Journalbegon in 2018 als gedachte-experiment, nadat Alex, Max, Martijn, Nayra en ik elkaar hadden ontmoet bij een lezing over Open Access en de mogelijkheden om het publiek inzicht te geven in hoe onderzoek werkt, hoe het wetenschappelijk proces verloopt. Maar artikelen geven toch vaak de indruk dat alles in één keer lukt, terwijl wij allemaal weten dat dat niet zo is. Hoe zou het zijn om een tijdschrift te lanceren over gefaald onderzoek, vroegen we ons af. Na een presentatie die we, half als grap, gaven bij het Descartes Centre, bleek er wel behoefte te zijn aan zo'n platform. Dat wil niet zeggen dat het makkelijk was om het Journal ook vol te krijgen, want werkelijk niemand durfde iets in te sturen, hahaha.'

Oeps. Hoe zijn jullie daar mee omgegaan?

'Daar hebben we wel een paar jaar flink aan moeten trekken, door actief mensen te benaderen die Open Sciencebelangrijk vinden. En steeds weer te benadrukken dat de wetenschap aan hervorming toe is. Inmiddels krijgen we genoeg voor één issue per jaar. Het grootste deel wordt door wetenschappers zelf ingestuurd. Het thema leeft ook steeds meer. Maar het is nog steeds maar een fractie van alle gefaalde onderzoeken natuurlijk.'

Wat is 'gefaald onderzoek' voor jullie?

'Onderzoek met nul resultaten of negatieve resultaten. Dat is op zich geen falen zou je zeggen, maar die studies worden vaak niet gepubliceerd. Terwijl ze wel degelijk relevante informatie bevatten, denk bijvoorbeeld aan onderzoek naar medicijnen. Best relevant om te weten als er in een studie geen effect wordt gevonden.
Een andere categorie is onderzoek dat interessante methodologische fouten laat zien. Een fout in de aanpak kan heel leerzaam voor onderzoekers die vergelijkbaar onderzoek doen. Maar slordigheden in de uitvoering bijvoorbeeld zijn niet interessant voor ons.'

Hoe haal je wetenschappers over die aarzelen om hun gefaalde onderzoek te publiceren?

We richten ons vooral op jonge onderzoekers, die zijn vaak idealistisch en voelen de druk om te publiceren. Ze hebben nog niet veel te verliezen aan naam of reputatie, maar wel veel te winnen bij veranderingen in de wetenschap. Of mensen die juist al een vaste baan hebben en afzwaaiende profs, die hebben een veilige positie. Je ziet wel beweging overal, met Erkennen en Waarderen en Open Science. De cultuurverandering is gaande, vrij langzaam maar het komt.'

Wanneer heb je zelf succesvol gefaald?

'Ah, daar moet ik even over nadenken. Meestal krijg ik de vraag waar het Journalin gefaald heeft. Nou, ik ben begonnen in scheikunde, daar doe ik niets meer mee. Dat heeft lang als falen gevoeld. Ik had tijdens mijn studie steeds meer het gevoel dat ik achterliep en ging allemaal extra curriculaire dingen doen, zoals een bestuursfunctie bij de debatclub. Scheikunde bleek toch niets voor mij en het is goed dat ik daar achter kwam. Anders was ik nu waarschijnlijk ongelukkig scheikundig onderzoek aan het doen, en dat dan ook nog niet zo goed. Maar de ervaring die ik tijdens mijn studie heb opgedaan blijkt nu superhandig in het contact met verschillende wetenschappers, omdat ik wel weet hoe het is. Al kan ik het pas sinds een jaar of twee zo zien, eerlijk gezegd.'

En het tijdschrift, waar faalde dat?

Daar zijn we nu volop mee aan de slag, hahaha. We zijn bezig met een nieuw onderwerp, we willen naast onderzoeken ook 'Serendipiteit anekdotes' van wetenschappers publiceren. Verhalen over momenten waarop een mislukking opeens een nieuw inzicht gaf dat leidde tot succes. Een historisch voorbeeld is de ontdekking van penicilline. Er zijn veel meer van dat soort verhalen natuurlijk. Ik vind het echt een heel tof onderwerp, maar het loopt nog niet zo soepel. Na veel trekken hebben we nu vier projecten verzameld. Maar ik blijf nog even proberen.'