Speuren naar sloppy science
Willen we wel weten wat er misgaat?
Is de RUG soms bang voor wat er naar buiten kan komen? Die vraag bleef anderhalve week geleden hangen nadat bleek dat de universiteit weigert om medewerking te verlenen aan wat het grootste onderzoek naar sloppy science ooit had moeten worden, de National Survey on Research Integrity (NSRI).
Van de 23 instellingen die werden aangeschreven wilden er maar acht de e-mailadressen van hun medewerkers delen en actief oproepen tot deelname, vertelde hoofdonderzoeker Gowri Gopalakrishna van het Academisch Medisch Centrum Amsterdam aan UKrant. Dus moesten zij en haar collega’s zelf mailadressen van wetenschappers opzoeken, met als gevolg dat de uitnodigingen vaak niet goed aankwamen of als spam werden aangemerkt.
De Universiteit van Amsterdam is een van de weinigen die wel besloot mee te doen. Om drie redenen: ‘Vanwege het belang van het onderzoek, omdat de privacy is geregeld en omdat er geen inhoudelijke bezwaren meer waren, nadat experts hadden meegekeken en er aanpassingen waren gedaan.’
De Universiteit Maastricht werkt mee ‘omdat er over wetenschappelijke integriteit niet veel empirisch bewijs is, en omdat de survey een unieke mogelijkheid biedt om met concrete data te evalueren hoe wij het beste goede onderzoekspraktijken kunnen bevorderen’. Of zoals de Radboud Universiteit in Nijmegen het eenvoudiger verwoordt: ‘Omdat het ons informatie kan opleveren over wat er goed en niet goed gaat.’
Vergezocht punt
Maar de RUG wil dus niet meewerken, omdat er, zo zei woordvoerder Jorien Bakker, discussie was over de opzet van het onderzoek en over de onderzoeksvraag.
‘Dat kwam niet heel sterk over’, zeg Rink Hoekstra, die aan de RUG onderzoek doet naar onderzoekspraktijken. Adjunct-hoogleraar statistiek Casper Albers noemt het een ‘vergezocht punt’. Hij zit in de universiteitsraad en zal tijdens de volgende vergadering om een beter antwoord vragen, zegt hij.
Universiteiten maken zich te druk om hun imago
RUG-postdoc Vera Heininga, voorvechter van open science, is ‘ontzettend teleurgesteld’ dat de universiteiten zich ‘blijkbaar veel meer druk maken om hun imago dan dat ze zich gezamenlijk willen inzetten voor het verbeteren van onderzoeksintegriteit’.
Serge Horbach promoveerde aan de Radboud Universiteit op onderzoek naar de manier waarop universiteiten omgaan met meldingen van wetenschapsfraude. Hij ziet dat er in sterke mate een beeld wordt gevormd van instellingen die bang zijn dat de vuile was buiten komt te hangen. ‘En voor zover ik kan inschatten schuwen de makers van de survey ook niet bepaald om dit beeld te versterken’, zegt hij vanuit zijn nieuwe werkplek bij de universiteit van Aarhus.
Hij denkt dat er heel legitieme redenen zijn om niet mee te doen, maar de angst voor reputatieschade lijkt inderdaad een belangrijke raadgever, zegt hij. ‘Zonder te willen insinueren dat dit ook nu het geval is: de terugkerende discussie over de reputatie van instituten en hun bereidheid om problemen rondom integriteit openlijk te adresseren, is erg interessant.’
Grijs gebied
Het gaat volgens Hoekstra niet zozeer om kwesties als de affaire-Diederik Stapel – de Tilburgse hoogleraar psychologie die grootschalig bleek te hebben gefraudeerd met onderzoeksgegevens. Dat zijn hoge uitzonderingen en zulke mensen vinden de mazen in de wet altijd wel, denkt hij.
Hij is meer geïnteresseerd in het grijze gebied van dingen die wel mógen, maar die niet echt integer zijn. ‘Het weglaten van resultaten die niet helemaal goed uitkomen, of data gebruiken op een andere manier dan je vooraf van plan was.’
Dit onderzoek drijft mee op een populistische wind
En wat te denken van statistische significantie, zegt Michiel de Boer, onderzoeker in het UMCG en goede bekende van de NSRI-onderzoekers. ‘Het is een beetje dubieus om, als de p-waarde kleiner is dan 0,05, te zeggen: het is zo. En als het groter is: het is niet zo. Dat klopt eigenlijk niet.’ Maar het mág wel.
Dit zijn discutabele handelingen waarvan we weten dat ze toch nog regelmatig voorkomen, zegt Hoekstra. ‘Waarschijnlijk door grote werkdruk en de druk om zoveel mogelijk te publiceren. Het is belangrijk om daar zicht op te krijgen.’
Individueel bedrog
Emeritus hoofddocent mathematische genetica Gerard te Meerman merkte echter niets van interesse in systeemfouten in het onderzoek. ‘De vraagstelling was helemaal richting Stapel-achtig bedrog.’
Hij verwijst naar de Amerikaanse onderzoeker John Ioannidis, die beweert dat veel gepubliceerd onderzoek niet aan de wetenschappelijke standaarden voldoet. De uitkomsten zouden vaak op statistisch toeval berusten en niet repliceerbaar zijn. ‘De kwantitatief belangrijkste aspecten van onbetrouwbaarheid van wetenschappelijk onderzoek komen niet aan de orde in dit onderzoek’, zegt hij: het probleem wordt geïndividualiseerd.
Maar na bemoeienis van de universiteiten is er juist wél aandacht voor systeemkritiek, stelt De Boer. Volgens Heininga gaat het onderzoek behalve over misstanden nu ook over open science, competitie en werkdruk, waar ze erg blij mee is.
Methodologie
Na de ophef in diverse media dook vice-decaan Klaas van Veen van de Faculteit Gedrags- en Maatschappijwetenschappen, net als duizend anderen, alsnog in zijn mailbox om daar de NSRI-uitnodiging uit te vissen. Na tien minuten was hij eruit: ‘Wat een tijdverspilling.’
‘Er staan stellingen in die doen denken aan het formulier dat je moet invullen als je naar de VS vliegt’, foetert Van Veen. ‘Daarin wordt gevraagd of je ooit terroristische activiteiten hebt gepleegd. Geen enkele idioot zegt daarop natuurlijk ja.’ Ook trof hij stellingen aan die op twee manieren te interpreteren zijn. ‘Dat is het eerste wat je afleert bij het maken van een vragenlijst.’
De vragenlijst was heel degelijk en professioneel opgezet
Sowieso heeft hij moeite met het idee dat onderzoekers niet integer zouden zijn: 99,9 procent is dat wel, zegt hij. ‘Er zijn zoveel controles dat het ook bijna niet anders kan. Dit onderzoek drijft op de populistische wind die er nu waait en die erg anti-universiteit is. Ik snap dat universiteiten hebben gedacht dat ze in deze tijd wel wat beters te doen hebben dan hieraan mee te werken.’
Albers vond het onderzoek methodologisch juist sterk. ‘Als statisticus val ik vaak over vragenlijsten waarvan ik denk: dit is een sturende vraagstelling. Maar het viel me hier juist op dat het heel degelijk en professioneel opgezet was.’
Die verschillende ervaringen kunnen te maken hebben met de opzet van het onderzoek. Niet iedereen krijgt namelijk dezelfde vragen voorgelegd, om te zorgen dat de lijst niet te lang wordt en de onderzoeker er niet meer dan twintig minuten aan kwijt is.
Reclame
De RUG heeft overigens niet helemáál niets gedaan, meldt de universiteit een paar dagen na het UKrant-artikel. Er is wel degelijk ‘reclame’ gemaakt, in de vorm van een nieuwsbericht dat eind oktober verscheen op de pagina over research data management op de RUG-website. Het bericht stond ook in de nieuwsbrief van die afdeling.
‘Ja, wanneer kijk je daar?’ schampert Heininga. ‘Daar ga je naartoe als je een probleem hebt met data. Ik weet niet eens wat er nog meer op die pagina staat.’
Bovendien, zegt ze, als ze de naam van de onderzoeksleider niet had gekend, had ze het mailtje waarschijnlijk niet eens geopend. Albers heeft hem helemaal niet gehad en anderen hebben de mail weggegooid, omdat ze al worden overspoeld met aanvragen voor onderzoeken en beducht zijn voor phishingmails. Precies de reden waarom de onderzoekers de hulp van de universiteit nodig hadden: om de uitnodiging eruit te laten springen.
‘Het aanleveren van e-mailadressen is de enige wijze waarop de survey kan slagen’, concludeerde de UvA, die haar database met adressen daarom deelde met onderzoeksbureau TNS-NIPO (dat nu Kantar heet). ‘De volledige privacy van onze medewerkers is gegarandeerd’, aldus de universiteit.
Blijft nog steeds de vraag: waarom wil de RUG dan niet meedoen? Herhaaldelijke verzoeken van UKrant om rector magnificus Cisca Wijmenga hierover aan het woord te laten, werden niet ingewilligd. En tegen de tijd dat de kwestie in de universiteitsraad aan bod komt, over twee weken, is het te laat: de enquête invullen kan nog tot 7 december.