Veel leren, weinig meten

Gissen naar effect trainingen en cursussen

Het antwoord van de gemeente Vlissingen is kort maar krachtig. ‘Wij hebben geen gegevens van effecten van opleidingen van onze medewerkers,’ laat woordvoerder Saskia Kaland weten. Bij Bart van de Tuuk van de Drentse gemeente Aa en Hunze, is de vraag of het zinvol is om resultaten van opleidingen van medewerkers te meten simpelweg niet eerder opgekomen. ‘Of wij een systeem hebben om effecten van opleidingen te meten? Nee en het is ook niet iets wat wij gemist hebben,’ voegt de personeelsadviseur er direct aan toe. ‘Als er behoefte is aan bijscholing, dan bespreken de medewerker, de teamleider en ik samen wat daarvoor de beste vorm is en of dat past binnen de koers van de gemeente.’ Volgens Van de Tuuk komen de ervaringen van medewerkers achteraf in gesprekken wel aan de orde.

Een vergelijkbare reactie geeft Britt van der Aa, HR-medewerker van de gemeente Bergeijk. ‘We kijken of een opleiding bij de functie past, maar de effecten houden we niet bij. Wel hebben we regelmatig in het jaar gesprekken met medewerkers waarin ervaringen met opleidingen en nieuwe behoefte voor scholing besproken worden.’

Het is een terugkerende reactie die er op neerkomt dat gemeenten het belangrijk vinden dat medewerkers bijscholen zodat zij inhoudelijk op de hoogte blijven van hun vakgebied en de (nieuwe) vaardigheden die daar bij horen. Bijscholing draagt immers bij aan de verdere professionalisering van de gemeentelijke organisatie. Maar het blijkt dat effecten van de duizenden cursussen en opleidingen die door ambtenaren jaarlijks worden gevolgd, niet of nauwelijks structureel worden bijgehouden, laat staan dat ze worden geanalyseerd en input zijn voor verdere professionalisering van de organisatie. Waarom is dat het geval? Het gaat immers om grote bedragen die besteed worden aan scholing.

Miljoenen voor bijscholing
FNV-bestuurder Bert de Haas zegt dat in de cao voor gemeenteambtenaren geen harde bedragen of percentages voor scholing zijn afgesproken. Daar is volgens De Haas ook geen noodzaak voor: ‘Het is gebruikelijk dat opleidingen die nodig zijn voor ontwikkeling van de medewerker en die direct met een functie verbonden zijn, volledig door de gemeente worden betaald en binnen werktijd gevolgd kunnen worden.’

Gemeenten verschillen in hun financiële normen voor cursussen en opleidingen. Sommige gemeenten hanteren een plafond per bijscholingstraject, andere gemeenten hebben een algemeen budget dat een percentage is van de loonsom van het totale aantal werknemers van de gemeente. Het is geen uitzondering dat minimaal één procent van de loonsom van een gemeente aan scholing van het personeel wordt uitgegeven. Dat zijn jaarlijks behoorlijke bedragen die worden geïnvesteerd in de ontwikkeling van de medewerkers en de organisatie. In Nijmegen bijvoorbeeld gaat het om één procent van de loonsom van zo’n 1600 medewerkers. Alleen al voor die gemeente bestaat het budget uit één miljoen euro per jaar, zegt Fred Vinken, hoofd bureau P&O-Services in Nijmegen.

Interne checks
Bij zes, willekeurig benaderde, gemeenten in het land is er geen duidelijk systeem aan de hand waarvan de effecten van trainingen en cursussen van medewerkers consequent worden bijgehouden. Dat is volgens Mariana Oud, afdelingshoofd organisatieontwikkeling bij de gemeente Schagen, geen toeval want training en opleiding vormen ‘een breed en diffuus begrip’. Ze geeft aan dat er trainingen zijn die voor alle medewerkers openstaan omdat die bij ‘de kernwaarden van de organisatie’ passen, zoals de training ‘psychologie van werkgeluk’. Voor meer functiespecifieke trainingen, bijvoorbeeld schrijfcursussen om duidelijke en toegankelijke bewonersbrieven te schrijven, beoordeelt de afdeling communicatie brieven steekproefsgewijs. Zo nodig krijgen medewerkers interne coaching aangeboden.

Trainingen die bij een specifieke functie horen, zoals het voeren van keukentafelgesprekken of opleidingen die gevolgd worden naar aanleiding van loopbaanwensen en ontwikkelassessments, worden in Schagen niet kwantitatief gemeten. Dat gebeurt wel kwalitatief, aldus Oud. ‘In intervisie binnen teams en in voortgangs gesprekken met leidinggevenden.’ Ook Ariette Belgraver van de gemeente Gouda laat weten dat de verschillende soorten trainingen en opleidingen zich moeilijk laten vergelijken: ‘Voor sommige cursussen is het nodig om certificaten te kunnen overhandigen om bepaalde applicaties te mogen blijven gebruiken, voor andere opleidingen hangt het af van de individuele afspraken die met de medewerker gemaakt zijn.’

Belgraver geeft daarnaast aan dat het delen van de opgedane kennis na het volgen van een opleiding wordt gestimuleerd. ‘In zijn algemeenheid staat Gouda erachter om de leereffecten van trainingen te delen. Dit delen gebeurt met de afdeling en/of met de hele organisatie via een voorlichting of intranet. Het doel daarachter is samen te leren en samen te groeien in professionaliteit.’

Uit de reacties van de gemeenten Schagen en Gouda blijkt derhalve dat gemeenten vertrouwen op de interne checks and balances: collega’s helpen elkaar bij hun verdere ontwikkeling waarvan interne of externe training en opleiding een onderdeel is. Kwantificeren van opleidingsresultaten wordt daarbij als een weinig realistische mogelijkheid gezien.

Resultaten kwantificeren
Fred Vinken, hoofd bureau P&O-Services in Nijmegen geeft, net als collega’s van andere gemeenten, aan dat ‘het meten en registreren van effecten van gevolgde trainingen vanuit organisatorisch oogpunt een ingewikkeld vraagstuk is.’

‘Uiteraard evalueren we trainingen na afloop, onder andere door de deelnemers te vragen wat ze er aan hebben gehad voor hun werk en verdere ontwikkeling. En we doen dat ook wel op latere momenten, om te zien of de opgedane kennis ook relevant blijft.’ Maar het kwantificeren van resultaten vindt ook Vinken lastig. ‘Als het gaat om een training van vaardigheden bij de afdeling Burgerzaken, dan kan je vooraf een nulmeting doen. Je weet dan welk niveau de medewerkers hebben en je kan dan na afloop zien welk effect een training heeft gehad. Dat kan je meten. Maar als het om individuele opleidingen gaat, om trainingen waar complexe sociale vaardigheden bij komen kijken, of bijvoorbeeld agressietrainingen, dan wordt het meteen al heel veel ingewikkelder. Want waar relateer je de eventuele ontwikkeling aan?’

Hij zegt dat drie masterstudenten van Tilburg University enkele jaren geleden een poging hebben gewaagd juist die meer complexe trainingen en opleidingen te kwantificeren, maar ook dat zij daarin niet zijn geslaagd. Toch zijn daarvoor tegenwoordig wel mogelijkheden, zo schreven Ellen Verboom en Sanne van den Bosch van adviesbureau Berenschot twee jaar geleden in de PW Gids, een tijdschrift over HR-management. Ook zij geven toe dat het toepassen van datagedreven sturing in de wereld van opleiden en ontwikkelen geen eenvoudige opgave is: ‘want hoe meet je het concept ‘leren’ op een gestructureerde, kwantitatieve manier, en hoe isoleer je bovendien dat effect?

En, welke indicatoren moeten daarvoor worden gebruikt? Leren lijkt vaak nog een ontastbaar en abstract concept, wat moeilijk in analytics te vangen is.’

Toch zien Verboom en Van den Bosch mogelijkheden aan de hand van learning analytics: ‘het meten, verzamelen, analyseren en rapporteren van data over lerende individuen en hun context, met als doel het leren en de omgeving waarin het plaatsvindt, te begrijpen en te optimaliseren. Bijvoorbeeld, in hoeverre is het gedrag van werknemers veranderd als gevolg van opleidings- en ontwikkelactiviteiten? Wat is de productiviteitswinst door deze activiteiten? En in welke omgevingen is het leereffect het grootst?’ De auteurs wijzen er op dat software beschikbaar is om zowel gestructureerd leren – in opleidingen en cursussen – als informeel leren – in de dagelijkse praktijk – meetbaar te maken. Zo kunnen in een Learning Record Store (LRS) data worden verzameld over trainingen, maar ook over informeel leren.

‘Zoals het bijwonen van een conferentie, het geven of volgen van coaching en contact met je sociale netwerk.’ Met deze gegevens kunnen organisaties learning analytics uitvoeren en op basis daarvan sturen op opleiding en ontwikkeling van de medewerkers. Bovendien geven learning analytics ook werknemers zelf inzicht in hun ontwikkeling. De auteurs geven aan dat learning analytics een modern sturingsmiddel zijn voor opleiding en ontwikkeling, maar zij waren voor dit artikel niet in de gelegenheid om de vraag te beantwoorden of er inmiddels ook gemeenten zijn die deze nieuwe middelen inzetten.

Kwalitatief meten
De rondgang langs een zestal gemeenten – hoe beperkt dat beeld ook is – leidt niet tot de indruk dat gemeenten hard bezig zijn met moderne middelen zoals learning analytics. In sommige gevallen willen gemeenten wel meer handvatten hebben dan de interne checks and balances alleen, om de ontwikkeling van de medewerkers en daarmee de professionaliteit van de gemeentelijke organisatie te beoordelen en verder te brengen. Daarbij moet worden opgemerkt dat ook het kwantificeren van leren en ontwikkelen beperkingen kent.

Zo vraagt het niet alleen om het optuigen van een enorm administratief systeem, het is ook de vraag wat die harde cijfers dan precies voor informatie geven. Want wat betekent het als iemand twintig conferenties per jaar heeft bezocht? En kunnen klachten van bewoners over een brief van de gemeente aan de schrijfkwaliteiten van een ambtenaar worden gerelateerd?

Volgens Michiel de Vries, hoogleraar bestuurskunde aan de RU-Nijmegen, is het vooral van belang dat cursussen en opleidingen vraaggestuurd zijn. ‘Alleen dan kunnen ambtenaren er ook echt iets aan hebben in hun dagelijkse werk.’ FNV-bestuurder De Haas uit zich in vergelijkbare woorden over het effect van bijscholing door te wijzen op het belang van opleidingsplannen die leidinggevenden en werknemers met elkaar opstellen.

Resultaat en kwaliteit
Het grootste deel van de ambtenaren is tevreden over de kwaliteit (85 procent) van cursussen en het behaalde resultaat (76 procent). Dat is vergelijkbaar met de andere beroepsgroepen, zo blijkt uit in opdracht van Binnenlands Bestuur gehouden onderzoek van I&O Research naar bijscholing ten behoeve van werk.

De meerderheid van de ambtenaren is positief over de kennis of vaardigheden die men opdoet tijdens de cursus of training: zes op de tien gebruikt deze (heel) veel tijdens zijn of haar werk. Toch is niet iedereen goed te spreken, een kwart geeft aan de geworven kennis niet zo veel te gebruiken. 5 procent van hen meldt er weinig aan te hebben gehad. Werkenden uit het bedrijfsleven zijn iets kritischer: onder hen heeft 8 procent weinig gehad aan de gevolgde cursus of training. Een ruime meerderheid van de ambtenaren (72 procent) heeft tijdens de bijscholing veel nieuwe kennis opgedaan. In mindere mate (61 procent) geeft men aan dat de cursus of training hen heeft gestimuleerd om ten behoeve van het werk meer te leren.

Zeven op de tien werkenden bij de overheid zijn goed te spreken over de trainingsmogelijkheden die er zijn binnen hun baan. In het bedrijfsleven zijn die er minder: 57 procent geeft aan dat er voldoende trainingsmogelijkheden zijn. Wat verder opvalt in het I&O onderzoek is dat bij minder dan de helft van de ondervraagden de leidinggevende feedback blijkt te geven over de persoonlijke ontwikkeling. Bij ambtenaren is dat 45 procent, bij werkenden in het bedrijfsleven 42 procent.