Ga direct naar de inhoud Ga direct naar het hoofdmenu Ga direct naar het zoekveld
 
 
Special 'Kritisch kijken naar onderzoek', juni 2016
Evaluatie van de programmeerpraktijk van ZonMw

Bouwstenen voor innovatie

Als onderzoeksfinancier wil ZonMw verspilling van onderzoeksgeld tegengaan en de maatschappelijke waarde van onderzoek bevorderen. Daarin speelt de programmeerpraktijk een belangrijke rol. ZonMw doet het goed, maar het kan beter. Er is vooral meer aandacht nodig voor efficiency en integriteit in de programmering, blijkt uit een evaluatie.

Geldverspilling, onvoldoende kwaliteit en gebrekkige maatschappelijke relevantie van wetenschappelijk onderzoek staan nationaal en internationaal steeds hoger op de verbeteragenda. Dat mag ook wel, gelet op de zorgwekkende cijfers. Tot 85 procent van alle onderzoek zou sloppy gedaan worden: slordig, inefficiënt, met resultaten die deels onbetrouwbaar zijn en veelal maatschappelijk irrelevant. Dat vertellen Ecorys-onderzoekster Wija Oortwijn, net terug van een internationaal congres over dit onderwerp in Japan, en Wendy Reijmerink. Samen evalueerden zij de programmeerpraktijken bij ZonMw.

Toetsingskader

De onderzoeksters vertaalden de brede thema’s van maatschappelijke relevantie, wetenschappelijke kwaliteit, efficiency van onderzoeksprocessen en integriteit in een concreet toetsingskader. Als criteria voor efficiency gelden bijvoorbeeld: aandacht voor hergebruik van data en een doelmatige inrichting van de interne processen. Bij integriteit gaat het onder meer om transparantie, het tegengaan van publicatiebias en belangenverstrengeling. 

Plussen en minnen

Met het toetsingskader hebben Reijmerink en Oortwijn zestien uiteenlopende programma’s van ZonMw tegen het licht gehouden. Wat betreft maatschappelijke relevantie en wetenschappelijke kwaliteit scoort ZonMw behoorlijk goed, verklaart Oortwijn. Beter kan het als het gaat om de efficiency en de aandacht voor integriteit. Reijmerink: ‘We hebben wel beleid over toegang tot en gebruik van bestaande data. Maar we zouden meer aandacht kunnen besteden aan implementatieproblemen en aan de moeite die het kost om voldoende patiënten te includeren in een studie. Dat kan bijvoorbeeld tijdens structureel terugkerende projectleidersbijeenkomsten. Enkele programma’s doen dat al, maar er is hiervoor nog geen formeel beleid. Het is goed als projectleiders van elkaar kunnen leren.’

Spiegel

Het toetsingskader heeft bij zijn eerste gebruik zijn waarde al bewezen. Het sluit bovendien goed aan bij nationale en internationale initiatieven, vertelt Oortwijn. Zij beschouwt het kader als een eerste aanzet om te komen tot verantwoord programmeren. ‘Het is een spiegel die laat zien waar ZonMw nu staat. Het geeft een positief antwoord op de vraag of ZonMw het geld dat het onder andere van het ministerie van VWS krijgt, op een legitieme manier besteedt – voor de maatschappij en vanuit wetenschappelijk oogpunt. Ook internationaal scoort ZonMw goed. Het is vrij uniek dat een organisatie zo op haar eigen programmeerpraktijk reflecteert.’

Veld betrekken

Het toetsingskader leent zich niet alleen voor aanscherping van het organisatiebeleid, maar ook voor het verbeteren van de werkprocessen bij onderzoeksprogramma’s. Bij het programma Doelmatigheidsonderzoek is met gebruik van het toetsingskader bijvoorbeeld besloten te onderzoeken hoe het veld meer betrokken kan worden bij het opstellen van de programmatekst. Op die manier beïnvloedt het kader automatisch de projecten, aldus Reijmerink. ‘Alles wat je in je programmatekst opneemt, geeft gedragslijnen voor de externe onderzoekers die projecten formuleren. Zo geef je als goed publiek opdrachtgever door wat jij met het oog op impact belangrijk vindt om te doen.’ 

‘Bij ongepubliceerd onderzoek zitten soms pareltjes’ 

Voor mogelijke verbeteringen kan ZonMw internationaal leren van good practices, aldus Reijmerink. Wat transparantie en het tegengaan van publicatiebias betreft neemt ze graag een voorbeeld aan het Britse National Institute for Health Research. ‘Aan de validiteit van gepubliceerd onderzoek mankeert nogal eens wat, terwijl bij niet-gepubliceerd onderzoek pareltjes kunnen zitten met maatschappelijk zinvolle informatie. Daarom publiceert onze Engelse tegenhanger ieder onderzoek via open access in hun eigen tijdschrift. Onderzoekers die hierin staan, krijgen daar punten voor. Op de ZonMw-site staan alleen samenvattingen van eindrapporten. Dat heeft als risico dat je alleen die informatie krijgt, die de onderzoeker openbaar wil maken. Wat mij betreft worden we daar opener in.’ Daarmee ben je er nog niet, reageert Oortwijn. Ook de zoekstrategieën moeten openbaar zijn. ‘Anders kan een ander nooit achterhalen of de resultaten die je publiceert niet biased zijn.’

Meedenken 

De formulering van de onderzoeksvraag en de waardering van de onderzoeksresultaten kunnen worden verbeterd door verschillende stakeholders tijdig hierover te laten meedenken. Wat een relevante onderzoeksvraag is, kan immers per partij verschillen. Oortwijn: ‘Neem doelmatigheidsonderzoek naar complexe technologie, zoals bij palliatieve zorg. Daarbij ligt de nadruk vaak op de interventie: kun je deze technologie thuis toepassen? Maar is die vraag voor de patiënt wel zo relevant? Misschien wil die, als er zoveel technologie voor nodig is, helemaal niet thuis blijven.’ Bij het zoeken naar de maatschappelijke betekenis van onderzoeksresultaten moeten naast onderzoekers ook gebruikers uit praktijk en beleid meepraten, zegt Reijmerink. Dat is te realiseren door te zorgen voor (meer) diversiteit van vertegenwoordiging in programma- en beoordelingscommissies.

Bouwstenen

Vernieuwing van de programmeerpraktijk verdient prioriteit, besluit Reijmerink. ‘Daar hebben we bouwstenen voor aangeleverd, maar er zijn er ongetwijfeld meer te bedenken, wat het belang van monitoring en evaluatie onderstreept. We zijn hier als ZonMw nog niet klaar mee!’

Tekst: Veronique Huijbregts
Illustratie: Dik Klut