‘We moeten anders meten’

Saskia Keuzenkamp over de effecten van participatie

De kinderspeelplek is toe aan een fikse opknapbeurt. De buurt mag bepalen hoe de speelplaats eruit gaat zien en welke guitige speeltoestellen er komen te staan. Zo wil de gemeente twee vliegen in één klap slaan: stimuleren dat meer kinderen buiten spelen en burgerparticipatie bevorderen. Het wijkkrantje maakt een mooie kiek van de wethouder die de vernieuwde speelplaats opent.

‘Maar wat het uiteindelijke resultaat is, onderzoekt de gemeente niet. In de kwaliteitscyclus is onderzoek naar de doelrealisatie een ondergeschoven kindje. De kinderspeelplaats ziet er weer goed uit, maar wordt er nu ook meer gebruik van gemaakt? In hoeverre zijn de buurtbewoners actief betrokken geweest bij de besluitvorming over deze ingreep?’, zegt Saskia Keuzenkamp, bijzonder hoogleraar participatie en effectiviteit aan de VU in Amsterdam en teamleider effectiviteit en vakmanschap bij het kennisinstituut en adviesbureau voor het sociaal domein Movisie in Utrecht.

Keuzenkamp (57) was deze week een van de sprekers op het Binnenlands Bestuur-congres ‘Sturen op gemeentelijke ambities in het sociaal domein’ in Driebergen. Dichter op de mensen, maatwerk in participatie. Maar hoe weet (of meet) je of je goed bezig bent? Hoe zorg je er als gemeente voor dat burgers meer zelf doen?

‘Ze kunnen initiatieven stimuleren, faciliteiten of coproduceren’, zegt Keuzenkamp. ‘Met het systeem van het buurtbudget bijvoorbeeld lok je participatie uit. Als je ervan uitgaat dat er in de buurt toch wel dingen worden georganiseerd, dan faciliteer je, bijvoorbeeld door ruimte beschikbaar te stellen, en laat je het initiatief aan de buurt. Je kunt ook werken aan co-creatie als actieve deelname van de gemeente noodzakelijk is, zoals bij de kinderspeelplaats, waar de gemeente uiteindelijk zorgt voor de realisatie.’

Actie-model
Gemeenten worstelen met de vraag: wanneer stimuleren, wanneer faciliteren en wanneer kiezen voor co-creatie? Een groepje wetenschappers uit Twente en Amsterdam ontwikkelde het ACTIE-model. Daarmee kunnen gemeenten systematisch bepalen hoe zij het best burgerinitiatieven kunnen ondersteunen.

Saskia Keuzenkamp: ‘Gemeenten kunnen van het model leren dat ze voor stimulatie, facilitering of coproductie van succesvolle bewonersinitiatieven steeds vijf elementen in overweging nemen: animo, contact, toerusting, inbedding en empathie. Wanneer is er bijvoorbeeld geen spontane animo en zal stimulans nodig zijn? Wanneer willen mensen wel, maar ontbreekt het aan mogelijkheden? De gemeente moet hen dan actief ondersteunen. En vergeet niet de inbedding. Soms wordt een project gesteund of gestart, zonder na te denken over hoe dit duurzaam kan worden voortgezet.’

Plannen bedenken, doelen stellen en geld uitgeven is niet zo’n probleem voor gemeenten; probleem is veelal dat de prestatie-indicator aan het einde van de rit ontbreekt. ‘Voldoet de speelplaats aan de doelen die je vooraf wilde realiseren?’

Gemeenten die willen sturen op de uitkomst van de voorzieningen en willen dat wijkteams, centra voor jeugd en gezin, buurthuizen of zorginstellingen hun werk goed doen, moeten er volgens Keuzenkamp voor zorgen dat ze duidelijke uitkomstindicatoren ontwikkelen. ‘Het gebeurt te vaak dat de realisatie van activiteiten wordt beschouwd als de uitkomst van een bepaalde voorziening. Er wordt nauwelijks gekeken naar de resultaten van die voorzieningen zelf.’

Het meten van de resultaten is nog ongebruikelijk in veel sectoren in het sociaal domein, weet Keuzenkamp. ‘Terwijl gemeenten volgens de Wet maatschappelijke ondersteuning wel met uitkomstcriteria moeten werken en dat in overleg met klantenorganisaties en zorgaanbieders kwaliteitseisen worden ontwikkeld. Dus niet: we hebben zo veel bezoekers gehad en zo veel activiteiten georganiseerd, maar: zijn mensen tevreden? Maar er is geen traditie van het meten van de effecten en dat is ook niet altijd even gemakkelijk in het brede sociaal domein.’

Uitkomstcriteria
Je ziet het voor je: de vrijwilliger van Buurthuis De Pomp die talloze mensen in de buurt helpt en die vervolgens als dank met ‘uitkomstcriteria’ om de oren wordt geslagen. Saskia Keuzenkamp: ‘In de jeugdzorg werken professionals veel meer met protocollen en intake-formulieren. Maar in de nuldelijnszorg heb je geen geprotocolleerde manier van werken. Daar worden lang niet altijd intakes afgenomen en doelen geregistreerd. Je zou de uitkomst van de voorzieningen dan ook anders moeten meten. Je kunt in de gemeentelijke GGD-monitor op zoek gaan naar de tevredenheid in de buurt, maar je kunt veel beter een week lang de bezoekers vragen stellen, of langs de deuren gaan en mensen uit de buurt interviewen.’

De professionals en vrijwilligers in het veld zijn enorm bevlogen en willen mensen helpen. Ze zijn niet in eerste instantie bezig met het vergroten van kennis over effectieve interventies waarvan zijzelf en anderen kunnen profiteren, aldus Keuzenkamp. Ook gemeenten staan niet te springen om hun euro’s te spenderen aan onderzoek naar het meten van de effectiviteit van het bevorderen van de participatie in het sociaal domein.

Saskia Keuzenkamp: ‘De wethouder wil handelen, actie, het collegeprogramma uitvoeren. En al helemaal als er een incident is. Dan wordt hij ook door de gemeenteraad tot daden aangezet. Hij scoort niet met een onderzoek, maar wel met een nieuwe speelplaats. Dat er misschien de verkeerde mensen komen, blijft onopgemerkt. Laat gemeenten nou eens 5 procent van het budget voor zorg en ondersteuning opzij zetten, dat de aanbieders vervolgens kunnen inzetten om de uitkomsten van de interventies te meten. En dan met elkaar het gesprek aangaan over de uitkomsten. Zijn we tevreden? Wat is nodig om het beter te doen? Dan ben je al een heel eind.’

Perverse prikkels
Als een gemeente wil dat burgers meer zelf doen, dan moet ze vrijwilligers in buurthuizen of mantelzorgers niet opzadelen met protocollen en invulformulieren, vindt Saskia Keuzenkamp. Volgens haar belemmert het rekenschap afleggen en het verantwoorden nu nog veel te vaak innovatie in het sociaal domein.

Keuzenkamp: ‘Het meten van resultaten moet worden gebruikt om te leren en om de aanpak te verbeteren. Het meten en sturen moet niet worden gebruikt om mensen af te straffen door de instellingen daarop af te rekenen. Als gemeenten dat gaan doen, ontstaan allerlei perverse prikkels. Dan zullen instellingen bijvoorbeeld de moeilijkst oplosbare problemen niet ter hand nemen, omdat er geen snelle winst kan worden geboekt. Of wordt er niet goed geregistreerd.’

Het achterhalen van de effectiviteit van interventies in het sociaal domein en wat werkt bij het stimuleren van participatie, is de kern van het onderzoek dat Saskia Keuzenkamp sinds 1 september van dit jaar als bijzonder hoogleraar verricht aan de VU. Keuzenkamp: ‘Met organisaties als Eropaf, de Hogeschool van Amsterdam en de GGD wil ik gaan onderzoeken wat wel en wat niet werkt in de schuldhulpverlening. Er zijn diverse versnipperde initiatieven en ik wil proberen een kenniswerkplaats op te richten. Daarbij hoop ik de verschillende partijen te betrekken. Ook ervaringsdeskundigen wil ik daarbij nadrukkelijk een rol laten spelen en natuurlijk de gemeente.’

Het mooie van zo’n samenwerking is volgens Keuzenkamp dat de lessen ook meteen in de praktijk kunnen worden gebruikt. ‘Je ziet vaak dat onderzoek op universiteiten uitmondt in prachtige artikelen in internationale tijdschriften zonder dat iemand er hier iets van weet. Die artikelen zijn academisch relevant, maar ik wil dat het onderzoek wordt gebruikt om de aanpak van problemen in het sociaal domein effectiever te maken. ‘

Te smalle blik
Keuzenkamp liep begin dit jaar stage bij een grote welzijnsinstelling. Ze merkte dat daar een zekere vrees is dat gemeenten vanuit een te smalle financiële blik redeneren. Gemeentebestuurders en ambtenaren zouden volgens de bijzonder hoogleraar ruimte moeten laten voor innovatie en vertrouwen moeten hebben in de kwaliteitscyclus en op basis van de uitkomstgegevens met de aanbieders en de klanten moeten praten. Saskia Keuzenkamp: ‘Dat kan ook om verhalen van mensen gaan; het hoeven echt niet alleen cijfers te zijn. Je moet met de aanbieders bespreken wat je wilt weten en wanneer je tevreden bent. Je komt dan wellicht op nieuwe indicatoren om te bepalen of vanuit een buurthuis voldoende wordt gedaan om de participatie van de buurtbewoners te bevorderen.’

Het is belangrijk om op maat te kijken welke meetinstrumenten het beste passen, meent Keuzenkamp. Sommige gemeenten maken volgens haar te rechtlijnig gebruik van de door de GGD Amsterdam en de gemeente Rotterdam ontwikkelde zelfredzaamheidsmatrix die professionals moeten invullen om de zelfraadzaamheid van cliënten te beoordelen op de leefgebieden inkomen, dagbesteding, huisvesting, gezinsrelaties, geestelijke gezondheidszorg, fysieke gezondheid, verslaving, vaardigheden bij activiteiten van het dagelijks leven, sociaal netwerk, maatschappelijke participatie en justitie.

Keuzenkamp: ‘De zelfredzaamheidsmatrix is heel breed, maar daardoor wel oppervlakkig en volgens veel zorgaanbieders veel te grofmazig. Ze hebben er meer last dan profijt van. Cliënten vullen het niet in, dat doen de professionals, en ze hebben er ook niets over te zeggen. Als je dit instrument uitkiest en gebruikt in het kader van het afrekenen, dan loop je het grote gevaar totaal niet te begrijpen wat de cliënten willen. De zelfredzaamheidsmatrix deugt voor sommige doelen als meetinstrument, maar lang niet voor alles. Het is daarom onverstandig van gemeenten om de zelfredzaamheidsmatrix als inkoopvoorwaarde te stellen bij zorgaanbieders.’

Instrumentenwijzer
Zelfredzaamheidsmatrix, cliëntervaringsonderzoek, effecten- en participatieladder – het sociaal domein is gezegend met een baaierd aan meetinstrumenten. ‘Je ziet door de bomen het bos niet meer’, weet Saskia Keuzenkamp. ‘Welk meetinstrument moet ik nou weer nemen?’

Daarom heeft Movisie, ook niet gek, met een aantal andere instellingen een instrumentenwijzer ontwikkeld, die deze week werd gepresenteerd. Keuzenkamp: ‘Op basis van deze wijzer kunnen gemeenten een geschikt meetinstrument kiezen. Weten ze wat ze willen? Zelf uitvoeren, laten meten door een bureau, continu, generiek of één onderwerp?’

Ze noemt vooral de goal attainment scale in de instrumentenwijzer handig. ‘Omdat je daarbij in de tijd kunt volgen of de doelen die je met de ondersteuning hebt afgesproken worden gerealiseerd. Wanneer ben je met z’n allen tevreden? Daar draait het om. Er is lang niet altijd een dialoog tussen de gemeente en de zorgaanbieders. Als je het met elkaar eens bent over wanneer je tevreden bent, dan is de stap naar een meetinstrument niet zo moeilijk.’

CV
Saskia Keuzenkamp werd op 21 maart 1959 geboren in Den Haag. Ze studeerde sociale pedagogiek in Utrecht en promoveerde in 1995 in Tilburg op een proefschrift over de effecten van emancipatiebeleid op de levensloop van vrouwen. Keuzenkamp werkte op verschillende universiteiten en was van 2001 tot 2013 als hoofd van de onderzoeksgroep emancipatie, jeugd en gezin verbonden aan het Sociaal en Cultureel Planbureau (SCP).

In 2013 stapte Saskia Keuzenkamp over naar het kennisinstituut en adviesbureau voor het sociaal domein Movisie. In 2006 werd Keuzenkamp aan de VU benoemd tot bijzonder hoogleraar emancipatie in internationaal vergelijkend perspectief. Op 1 september van dit jaar werd ze aan de VU bijzonder hoogleraar participatie en effectiviteit.