Dat zal ze leren

Vorige week was de week van de wetenschap. Drie wetenschappers bleken ordinaire oplichters. Sociaal-psycholoog Stapel bleek veel gegevens zelf verzonnen te hebben en andere onderzoeksgegevens aangepast.

Neurochirurg Jansen Steur heeft bij gezonde mensen hersenoperaties verricht. En energiedrankje Red Bull mocht reclame maken door foponderzoek aan de Universiteit Utrecht. Maar daarnaast zijn er duizenden andere onderzoeken met foute uitkomsten, niet door fraude maar door domme wetenschappers, verkeerde onderzoeksmethoden, slechte begeleidingscommissies, slapende meelezers, door haastwerk, en selectief lezen van de uitkomsten.

De reacties op alle ontdekte fraude en fouten zijn te voorspellen. Managers van universiteiten komen met aanbevelingen voor cultuurtrajecten, betere verificatieverplichtingen, dilemmadiscussies over waarden en normen, teambesprekingen (liefst dagelijks), proportionele protocollen, meer controles door onafhankelijke buitenstaanders, betere klepels voor klokkenluiders en vertrouwenspersonen om vermoedens van fraude en fouten te melden, een modernere Wet openbaarheid bestuur. De kern van al die oplossingen is dat managers denken dat zij zelf de fraude moeten ontdekken en bestrijden, en dat doen met procedures.

En tegelijk is er af en toe een nuchtere statisticus die enige praktijktips geeft om fraude en fouten te herkennen. De eerste maat waaraan een statistisch onderzoek wordt beoordeeld, is de zogeheten ‘R-kwadraat’. Een lage R-kwadraat, dicht bij 0, betekent dat het onderzoek maar weinig verklaart van wat je onderzoekt. Een hoge R-kwadraat, dicht bij 1, betekent dat het onderzoek bijna volledig verklaart wat je onderzoekt. Als een R-kwadraat veel hoger ligt dan bij vergelijkbare onderzoeken, moet dat argwaan wekken. Ook is het zinvol om de onderzoeksgegevens te sorteren, niet op nummer van de onderzochte persoon, maar op volgorde van de uitkomsten. Dan vallen veel vervalste en verprutste onderzoeken al door de mand. De kern van die oplossingen is dat er duizenden mensen zijn die de fraude en fouten kunnen ontdekken – als ze maar alle gegevens krijgen, deskundig zijn en hun gezond verstand gebruiken.

De commissie die de fraude van Stapel onderzocht, is duidelijk: ‘Het is toch simpel om alle voor een onderzoek relevante informatie op een website te plaatsen en daarnaar expliciet te verwijzen in het onderzoeksrapport.’

Zijn er nog managers die denken dat ze met een managersmethode slechte onderzoeken kunnen onderscheppen? Dan moeten ze eens proberen een onderzoek van het rijk naar de verdeling van het gemeentefonds te willen controleren. Aanpassen van de data is vast onderdeel van de methode. Vragen om nadere toelichting? Die worden weggehoond. Ik verzeker u, dat zal ze leren.