Minder wetenschap en meer wetenschap óver wetenschap

Dromen van een wereld waarin proefschriften dunner zijn en tenminste één hoofdstuk bevatten waarin de kersverse jonge doctors de kwaliteit van onderzoek onderzoeken.

Er is veel wetenschap. Misschien wel te veel. In de afgelopen kwart eeuw is het aantal promoties in Nederland bijna verdubbeld tot meer dan 5000 promoties in 2021. Ook werden er in 2022 ongeveer 1,75 miljoen publicaties toegevoegd aan de bekende medisch-wetenschappelijke database PubMed. Velen beschouwen deze aantallen als een indicatie voor ‘Publish or Perish’, waarbij wetenschappers zich gedwongen voelen om voortdurend te publiceren om relevant en competitief te blijven.

Maar meer wetenschap is toch juist goed? Ik ben het daar in principe mee eens, zolang de kwaliteit van de publicaties dusdanig is dat zij van toegevoegde waarde zijn. En dat is waar de schoen wringt: helaas kunnen we maar al te vaak spreken van ‘research waste’: onderzoek van weinig toegevoegde waarde door slechte rapportage of vermijdbare methodologische fouten.

Een van de meest sprekende voorbeelden is het overweldigende volume aan slecht uitgevoerd COVID-19 onderzoek. Op dit moment zijn er maar liefst 593 artikelen beschikbaar die hebben onderzocht of en hoe je kan voorspellen hoe het iemand zal vergaan na een COVID-19 diagnose. De realiteit is echter dat twee derde van deze publicaties te kleine datasets gebruikte om effectief te kunnen voorspellen, en net iets meer dan de helft heeft simpelweg niet de juiste methodiek toegepast of daar onvoldoende over gerapporteerd. Van de 29 publicaties van enige kwaliteit blijken slechts zes predictiemodellen veilig en bruikbaar te zijn voor artsen in de praktijk.

Dit is een voorbeeld van meta-onderzoek: onderzoek gericht op het onderzoeken van onderzoekers en hun onderzoekspraktijken. Lange tijd was de club van onderzoekers die dit type onderzoek verrichtte relatief klein en die club legde de nadruk op methodologie, sociologie en wetenschapsfilosofie. Op sommige gebieden hebben hun inspanningen de afgelopen decennia geleid tot kleine, maar nuttige stapjes die gezamenlijk de wetenschappelijke kwaliteit heeft verbeterd, zoals bij klinische trials in de geneeskunde. Grootschalige aandacht en systeemverandering bleef echter uit. Pas toen enkele sleutelpublicaties uitkwamen, zoals ‘Why most published research findings are false’ in 2005, gevolgd door de populair-wetenschappelijke bestseller ‘bad science’ in 2008, en later ‘Estimating the reproducibility of psychological science’ en de research waste serie rond 2014. Langzaam maar zeker kreeg meta-research meer aandacht, resulterend in nieuwe beurzen, wetenschappelijke tijdschriften die zich richten op meta-research, en de oprichting van volwaardige meta-research instituten zoals die in Stanford en Berlijn.

Goede ontwikkelingen zou je denken, ware het niet dat echte kwaliteitsverbetering vooralsnog uitblijft. En dat terwijl er dus al tien tot vijftien15 jaar vele meta-onderzoekers hun best doen om lessen te trekken ter verbetering van de manier waarop we onderzoek doen. Ik snap dat echte verandering tijd kost, maar er is volgens mij meer aan de hand. Ik denk dat meta-onderzoekers hun lessen vooral delen met hun collega meta-onderzoekers. Sommige bevindingen worden wel breder gedeeld, gebracht door persberichten en prominente plekken in de literatuur. En incidenteel wordt er zelfs nieuw nationaal beleid gebaseerd op die bevindingen. Maar dat is voor de reguliere onderzoeker allemaal zeer passief. Wat grotendeels achterblijft, is dat de lessen ook worden geaccepteerd en structureel geïntegreerd op de werkvloer van niet meta-onderzoekers.

Daarom droom ik van een wereld waarin elke wetenschapper minder wetenschap maar tegelijk ook meta-research verricht. Ik denk namelijk dat je pas echt aan de slag gaat met de lessen als je ze zelf trekt. We krijgen dat voor elkaar door elk proefschrift iets dunner te maken. Met één hoofdstuk minder is er vaak ook meteen één publicatie minder. Dit geeft promovendi niet alleen meer tijd om te leren hoe je hoogkwalitatief onderzoek aflevert, maar ook meer tijd voor reflectie op het eigen vakgebied. Eén van de resterende hoofdstukken zal gewijd zijn gewijd aan meta-research, gericht op de kwaliteit van het onderzoek in hun eigen vakgebied. Meta-research wordt daarmee een integraal onderdeel van elke discipline en zo wordt het thema onderzoekskwaliteit actief en structureel geïntegreerd in regulier onderzoek, in elke onderzoeksgroep, voor iedereen.

Criticasters zullen zeggen dat we op deze manier juist bijdragen aan research waste:  meta-research als een hobby van enkele navelstaarders die onervaren promovendi onderzoek laten uitvoeren dat geen bijdrage levert aan het beantwoorden van de prangende vragen van deze tijd. Nu is het waar dat je voor meta-research vaak een brede skillset nodig hebt. Daarom moeten we er voor zorgen dat onze promovendi daarvoor goed, en dus ook breder, worden opgeleid. Daarnaast maakt deze brede opleiding onze promovendi ook beter toegerust op een loopbaan buiten de academie. En wat betreft die grote vragen: we zullen de juiste antwoorden sneller vinden als we onze tijd en energie effectiever inzetten en niet besteden aan het produceren van artikelen met minimale waarde. Bovendien beperkt mijn droom zich tot Nederland: die 5000 meta-research hoofdstukken die per jaar in Nederlandse proefschriften zullen staan, zijn in vergelijking met de hoeveel reguliere publicaties echt verwaarloosbaar. Toch zullen ze impact hebben, al is het alleen maar omdat de Nederlandse wetenschap in veel vakgebieden bovengemiddeld invloedrijk is. En mocht over 10 jaar blijken dat het aandeel research waste echt gedaald is, dan lezen we dat vanzelf in de meta-research hoofdstukken van de proefschriften in 2033 en stoppen we ermee.

(De auteur heeft gebruik gemaakt van chatGPT ter correctie en redactie van eigen geschreven tekst.)