Van ambitie naar effect: inzicht als sleutel voor betere keuzes

Bij gemeenten is veel beweging en ambitie, maar we zien in onze praktijk dat het vaak ontbreekt aan inzicht in wat écht werkt. [1] Het belang hiervan neemt toe in aanloop naar het Ravijnjaar, een periode waarin met minder middelen de juiste keuzes gemaakt moeten worden. Dit artikel gaat in op de methoden om zicht te krijgen op het effect van een pilot, interventie of dienst. Dit kan door impact te modelleren (vooruitdenken), meten (effect onderzoeken), monitoren (voortgang volgen) en monetariseren (maatschappelijke waarde inzichtelijk maken). Door inzicht te krijgen in de effectiviteit, kunnen we beter kiezen, sturen en leren.

Soms lijkt een gemeente op een mierenhoop. Overal krioelen mensen met de beste bedoelingen: beleidsmakers slepen plannen aan, sjouwen met pilots en bouwen enthousiast aan nieuwe ingangen en routes. Het is indrukwekkend om te zien – er is beweging, samenwerking, inzet. Maar van bovenaf bekeken is het moeilijk om grip te houden op het geheel en te zien waar het eigenlijk naartoe gaat. Nieuwe ‘gangen worden voortdurend gegraven’, vaak op basis van een enkel succesverhaal of een goed idee dat iemand ergens heeft opgepikt. De richting wordt lang niet altijd afgestemd; doelen worden in brede, abstracte termen geformuleerd – zoals ‘meer verbinding’ of ‘toegankelijkheid’ – zonder dat duidelijk is wat dat precies betekent of hoe we kunnen meten of het gelukt is. En terwijl iedereen ondergronds verder werkt in dit netwerk van goede bedoelingen, blijft één vraag ergens tussen de ‘gangen’ hangen: “Hoe krijgen we grip op deze situatie?” Want zonder duidelijke doelen, zonder gezamenlijke richting en zonder structurele evaluatie, blijft het lastig ontdekken wat voor de inwoners écht het verschil maakt.

Waarom gemeenten grip verliezen…

Gemeenten barsten van de energie. En dat is maar goed ook, want de uitdagingen zijn groot, zeker op weg naar het Ravijnjaar. En de ambities zijn soms nog groter. Gemeenten, zorgaanbieders en sociale teams willen meer participatie, betere ondersteuning, minder bureaucratie, meer samenhang, preventie, maatwerk, inclusie… En het liefst alles tegelijkertijd. Omdat elk vraagstuk uniek lijkt te zijn, starten we graag nieuwe pilots. Soms omdat een buurtbewoner enthousiast was. Soms omdat het ‘ergens anders goed werkte’. En soms omdat er toevallig subsidie over was. En dus ontstaat er beweging – heel veel beweging. Maar ergens in dat enthousiaste gezoem ligt ook een risico: de grip kwijt raken. Want als iedereen in beweging is, wie kijkt dan nog waar we eigenlijk naartoe gaan? Wat werkt er nu echt – en hoe weten we dat? Want zonder een helder doel, duidelijke route en meetbare resultaten is de kans groot dat we vooral druk zijn, in plaats van doelgericht onderweg.

... en hoe we de grip weer kunnen krijgen

Om de grip terug te krijgen, is meer nodig dan goede wil. Wat helpt, is een duidelijke, datagedreven strategie met aandacht voor kwantitatieve en kwalitatieve factoren. Door bij elk pilot, interventie of dienst vooraf helder te krijgen wat je wilt bereiken, waarom je denkt dat jouw aanpak effectief is en hoe je dat vervolgens gaat meten en toetsen, krijg je weer grip om de doelen daadwerkelijk te behalen. In dit eerste artikel uit een reeks van 7 laten we zien hoe je met behulp van een vijftal methoden instrumenten in handen hebt om duidelijke doelen en te verwachten resultaten te koppelen aan een inzet in de vorm van een pilot, interventie of dienst. Zo is een Theory of Change een denkkader om te verwachtten effecten te koppelen aan de inzet van activiteiten. De Theory of Change is vervolgens te toetsen, door middel van impact modelleren tot impact monetariseren (zie figuur 1). Elk van deze methodes helpt om bewuster keuzes te maken, gerichter te leren, en vooral: om gezamenlijk te werken aan dat wat écht het verschil maakt.

Theory of Change: van goede intentie naar gefundeerde keuzes

Een Theory of Change (figuur 2) helpt om vooraf goed na te denken over wat je wilt bereiken, waarom je denkt dat jouw aanpak werkt, en hoe je dat vervolgens kunt meten. Het dwingt je om niet te blijven hangen bij ‘we doen iets goeds’, maar te concretiseren:

• Wat is het maatschappelijke probleem dat we aanpakken?
• Wat willen we op lange termijn bereiken (maatschappelijk resultaat)?
• Welke activiteiten zetten we daarvoor in (activiteiten)?
• Hoeveel mensen bereiken we daarmee (output)?
• Welke veranderingen brengen deze activiteiten bij de mensen die we bereiken teweeg (outcomes)?

Met de Theory of Change leg je een logische keten van doen naar denken en weer terug.

Impact modelleren: vooraf een berekening maken van de impact

Als de Theory of Change is opgesteld, zijn er meerdere methoden om de beoogde impact te gaan onderzoeken. Een manier om vooraf zicht te krijgen op de verwachtte impact is door die te modelleren. Dat betekent: vooruitdenken. Wat gebeurt er als dit project succesvol is? Welke maatschappelijke waarde levert het op? Wat verandert er op het niveau van de deelnemer, het systeem en de samenleving? Impact modelleren helpt je om deze beoogde veranderingen inzichtelijk te maken. Door bij de start van een project, pilot of programma de impact te modelleren, leg je een stevig fundament voor gefundeerde besluitvorming. Ook kan de gemodelleerde impact dienen als toets bij een evaluatie om te onderzoeken of de gemodelleerde impact daadwerkelijk behaald is. Met een goed gemodelleerde impact op basis van een Theory of Change weet je wat je nastreeft, en kun je daar gericht op sturen, meten en leren.

Impact meten: diepgaand onderzoek naar de effectiviteit

Een andere manier om de Theory of Change te toetsen is impact meten. Als je echt zeker wilt weten of een aanpak werkt, is het aan te raden om een eenmalig, grondig onderzoek te doen naar de werkelijke effecten van een project of interventie. Niet alleen tevredenheid of output (“Hoeveel mensen deden mee?”) zijn dan belangrijk, maar juist ook de outcome en impact: Wat is er veranderd? En komt dat door ons project? Bijvoorbeeld: heeft de inzet van buurtcoaches daadwerkelijk geleid tot minder schooluitval? Is de eenzaamheid bij ouderen aantoonbaar verminderd na inzet van maatjesprojecten? Vaak wordt een impactmeting ingezet om eenmalig aan te tonen of een interventie werkt. Impact meten vergt tijd, data en een goede opzet – maar levert een blijvende onderbouwing op voor de effectiviteit van een activiteit of pilot.

Impact monitoren: continue inzicht om bij te sturen

Diepgaand meten is soms heel goed, maar in andere situaties wil je het liefst niet pas aan het eind ontdekken dat je de verkeerde kant op liep. Daarom is impactmonitoring zo belangrijk. Want waar een diepgaande impactmeting antwoord kan geven op de vraag of een aanpak of pilot echt werkt, geeft een monitor sturingsinformatie: waar staan we met de doelstellingen die we op basis van onze Theory of Change proberen te behalen? Met een sturingsmonitor is het mogelijk om doorlopend de effecten of doelstellingen op basis van je Theory of Change te volgen. Komen de eerste effecten in beeld? Loopt alles volgens plan, of moeten we bijstellen? Door tijdig signalen op te pikken – bijvoorbeeld uit interne data, feedback van cliënten of periodieke vragenlijsten – kun je beleid en programma’s dynamisch bijsturen.

Impact monetariseren: bereken wat het oplevert

Tot slot kun je ook kijken naar de monetaire waarde van de impact, of het nou gemodelleerd is, gemeten of gemonitord. Met het monetariseren van de impact kan je inzichtelijk maken wat de maatschappelijke effecten financieel gezien betekenen. Dit gebeurt bijvoorbeeld via een maatschappelijke kosten-batenanalyse, waar Purpose een maatschappelijke prijslijst voor heeft ontwikkeld (MKBA, figuur 3). Denk aan:

• Hoeveel bespaart een preventief jeugdproject aan jeugdzorgkosten?
• Wat levert het op als mensen sneller weer aan het werk gaan?
• Hoeveel waarde vertegenwoordigt het verbeteren van gezondheid of het verminderen van stress?

Door maatschappelijke opbrengsten in beeld te brengen, kunnen bestuurders onderbouwde keuzes maken. En – niet onbelangrijk – kunnen ze deze ook beter uitleggen aan de raad, de rekenkamer of de belastingbetaler.

Meten en monitoren als bondgenoot van vernieuwing

Grip houden als gemeente betekent niet dat we de energie, creativiteit of ruimte voor vernieuwing moeten beperken. Integendeel: juist met een helder denkraam – zoals een Theory of Change – kunnen we die energie beter richten. Zo weten we waar we heen willen, hoe we denken daar te komen, en of we onderweg moeten bijsturen. Want uiteindelijk willen we allemaal antwoord op dezelfde vraag: “Wat werkt nu eigenlijk écht?”

[1] “Voor effectief beleid is stoppen soms beter dan maar doorgaan” (Overheidvannu, 14-04-2023)

Dit is het eerste artikel in een reeks van zeven artikelen. In het volgende artikel zal de Theory of Change uitgediept worden met concrete voorbeelden en resultaten.