/
    • NWO ligt onder vuur. Willem Trommel beargumenteert (VK, 2014-09-06) dat de verhouding aanvragen en toekenningen scheef is: teveel aanvragen die als uitstekend worden beoordeeld krijgen geen geld. Er is niet genoeg geld beschikbaar. De keuze welke van de uitstekende voorstellen dan wél geld krijgen zou niet eerlijk zijn. Het onderscheid tussen de uitstekende voorstellen wordt op niet onderbouwde criteria gemaakt. Daarnaast kost het "aanvragen-circus" handen vol geld: zowel de uren van de wetenschappers die nul op het rekest krijgen, als de uren van NWO zelf (470 fte) en de door haar ingevlogen commissies die de aanvragen beoordelen. Trommels oplossing: loot onder de voorstellen die goed genoeg zijn. Hij krijgt daarbij bijval van Bart Nooteboom (VK, 2014-09-22).

      Loten helpt het aanvraag proces eerlijker te maken, maar doet niets aan de kosten van dat proces: commissies zullen nog steeds de aanvragen moeten beoordelen. Dat zijn dezelfde experts die, wanneer onderzoek is afgerond, gevraagd worden als reviewers van de wetenschappelijke artikelen. Wetenschappelijk onderzoek wordt dus twee keer ge-peer-reviewed: eerst bij de aanvraag, en daarna bij de oplevering. Dat voelt als dubbel werk en kan efficiënter.

      Een wetenschappelijk artikel bevat doorgaans de volgende onderdelen:

      • introductie, waarom hebben we dit onderzoek gedaan, wat is er nieuw aan?
      • methodes: hoe hebben we het onderzoek uitgevoerd, welke technieken zijn gebruikt, welke statistiek is toegepast om significantie te toetsen?
      • resultaten: wat zijn de, ruwe, uitkomsten van het onderzoek, zijn de resultaten significant?
      • discussie: wat betekenen de uitkomsten voor de wetenschap en de maatschappij? Wat zijn de valkuilen bij de conclusies? Wat zou logisch vervolgonderzoek zijn?

      Het is me weleens gebeurd dat een artikel, terecht, werd afgekeurd op methodes. Helemaal aan het einde van de rit vertelde een externe reviewer mij dat ik het onderzoek beter helemaal anders had kunnen doen. Als hij me dat nou aan het begin het verteld, had ik geen onderzoeksgeld verspild!

      Ik stel voor om het aanvragen van onderzoeksgeld en het publiceren van resultaten in elkaar te schuiven: maak van NWO een wetenschappelijke uitgever.

      Dat lijkt nogal een cultuuromslag, maar valt, denk ik, mee. Het opzetten van een wetenschappelijk tijdschrift is in deze online tijd simpel. Onderzoek aanvragen en uitvoeren gaat dan als volgt:

      1. onderzoeker stuurt een artikel in wording naar NWO. Dit artikel bevat de introductie (waarom) en methode (hoe). Daarnaast wordt alvast een schets gegeven van hoe de resultaten gepresenteerd gaan worden in de resultaat-sectie. Tot slot zal een budget schatting en een CV van de onderzoeker/onderzoekers nodig zijn.
      2. NWO stuurt dit, ter review, naar expert wetenschappers. In dit peer-review proces controleren de onderzoekers of het onderzoek wetenschappelijk relevant genoeg is en of de voorgestelde methode correct is. In deze fase kunnen de peer-reviewers zowel afwijzen, accepteren, als bijsturen: “Dit is nuttig onderzoek, maar de methode moeten zus en zo aangepast worden om correct te zijn”
      3. Alle geaccepteerde voorstellen worden door NWO gepubliceerd in een “journal voor geaccepteerde voostellen”. Hier zullen, naar alle waarschijnlijkheid, meer voorgestelde artikelen in staan dan gefinancierd kunnen worden.
      4. NWO kiest (loot) onder de geaccepteerde voorstellen degene die geld krijgen om hun onderzoek daadwerkelijk uit te voeren.
      5. Zodra onderzoek afgerond is worden de resultaten en discussie secties toegevoegd aan het voorgestelde artikel en wordt het, nu complete, artikel door NWO gepubliceerd in een “journal voor door NWO gefinancierd onderzoek”.

      Op deze manier vindt er maar één ronde peer review plaats: een stuk goedkoper. De toetsing of onderzoek methodisch correct gebeurt, vindt vooraf plaats zodat eventuele fouten voorkomen kunnen worden. Er worden kosten bespaard omdat dure uitgeverijen niet meer hoeven te verdienen aan wetenschappelijke publicaties als NWO die rol overneemt. Alle wel geaccepteerde, maar niet gefinancierde, onderzoeken staan openbaar beschikbaar: je kan vooraf checken of een ander niet al hetzelfde idee had: dat voorkomt dubbel werk. Individuele wetenschappers kunnen hun geaccepteerde, maar niet gefinancierde, werk op hun CV zetten en kunnen zo hun kwaliteit aangeven, zelfs als ze de loterij om geld verloren hebben. Tot slot wordt hiermee ook, deels, iets gedaan aan de “publication bias” in de wetenschap: nu worden over het algemeen alleen positieve resultaten gepubliceerd. Omdat NWO toezegt de resultaten te publiceren ongeacht de uitkomst, zullen ook negatieve resultaten de wetenschappelijke literatuur halen.

      Ik realiseer me dat dit niet de enige manier kan zijn om onderzoek te financieren. Ten eerste is het sterk ingegeven door mijn eigen, bèta, achtergrond. Deze opzet zal niet voor alle vakgebieden van toepassing zijn: in de wiskunde is het vrijwel onmogelijk en ik verwacht dat ook veel alfawetenschappen niet volgens dit stramien kunnen werken (maar dat misschien wel zouden moeten willen!). Er zal ruimte moeten blijven voor puur exploratief onderzoek zonder vooraf vastgestelde onderzoeksvraag en voor literatuur studies. Maar deze nieuwe manier van werken hoeft bij NWO niet in één keer overal ingevoerd te worden. Het opzetten van een journal is zo laagdrempelig dat NWO, als pilot-project, deze methode bij een van haar kleinere “calls” kan testen en bij succes kan kiezen om dit bij meer calls toe te gaan passen. In dat geval: ik heb nog wel een paar goede voorstellen liggen.