Klaar voor de start?

Dashboards worden in veel organisaties op dit moment gebouwd of al gebruikt. Vanuit Van Dam & Oosterbaan zien we dat dit gebruik soms nog best lastig kan zijn. Regelmatig worden in een dashboard zoveel verschillende cijfers getoond, dat je door de bomen het bos niet ziet. Hoe duid je dan de cijfers? Hoe koppel je dit aan beleid? In dit artikel gaan we daar verder op in. Cijfers uit een dashboard zijn een mooi startpunt voor verder analyse en onderzoek. En daar geven we je verschillende opties voor. 

Lees het hele artikel (pdf)

Op zoek naar verklaringen: correlatie vs. causaliteit 

Cijfers worden vaak gebruikt in de zoektocht naar verklaringen. Waarom neemt het aantal mensen met een bijstandsuitkering af? Komt dit door gemeentelijk beleid of door iets anders? Of hoe komt het dat de kosten van de jeugdhulp toenemen en wat kan een gemeente hieraan doen? Voor we naar deze vragen kijken, is het eerst belangrijk om in te zoomen op de begrippen correlatie en causaliteit.  

Bij correlatie hangen twee zaken samen, bij causaliteit veroorzaakt het één het ander. Dit kan met de meest bizarre voorbeelden worden geïllustreerd. Zo lijkt er op het eerste gezicht een causaal verband te zijn tussen ijsconsumptie en bosbranden: beiden komen in dezelfde periode veel voor. 

Causaliteit zou dan betekenen dat het eten van ijs leidt tot bosbranden. Dat is natuurlijk niet zo: een derde factor is van toepassing, namelijk de temperatuur. Hogere temperaturen brengen een hogere ijsconsumptie en meer bosbranden met zich mee. 

De vraag is ook vaak welke kant een causaal verband op werkt. Mensen in armoede hebben vaak een slechtere gezondheid. Is hun gezondheid slechter omdat zij in armoede leven en daardoor bijvoorbeeld stress hebben, of brengt een slechtere gezondheid ook vaker geen werk of werk met een laag inkomen met zich mee? Het is lastig om dit goed te onderzoeken. Dit brengt ons bij het volgende startpunt voor analyse en onderzoek: het verklaren van maatschappelijke problemen.  

Meer over maatschappelijke problemen verklaren 

In een laboratorium is het relatief makkelijk om verklarend onderzoek uit te voeren. Bij bijvoorbeeld medicijnonderzoek krijgt een testgroep het medicijn en een controlegroep krijgt niets of een placebo. Vervolgens kan het effect per groep worden bestudeerd. In werkelijkheid is het lastig om dit na te bootsen. Maatschappelijke problemen laten zich bijvoorbeeld al niet altijd goed in data uitdrukken. Wat we dan zien bij verklarende analyses, is dat slechts zo’n 30% van het probleem kan worden verklaard met de beschikbare data. 70% van factoren die invloed hebben, zijn dan dus niet in beeld.  

Daarbij speelt bij maatschappelijke problemen ook mee dat tal van factoren invloed hebben op het vraagstuk. Laten we nog eens kijken naar het voorbeeld van een afname in het aantal bijstandsuitkeringen. Dit zou kunnen doordat de gemeente succesvol beleid heeft uitgevoerd, maar de aantrekkende economie heeft hier ook invloed op. Daarbij is het lastig om vast te stellen welke factor welke mate van invloed heeft.  

Maatschappelijke problemen analyseren is dus lastig. Hoe weten we dan wat wél werkt? Van Dam & Oosterbaan onderscheidt drie vormen van vervolgonderzoek, die ook in combinatie met elkaar ingezet kunnen worden.  

• Verdiepend onderzoek 1: literatuuronderzoek

Er is één setting waarbinnen veel verklarende onderzoeken worden gedaan en dat is de wetenschap. Daar kun je veel informatie vinden. Het is dus niet altijd nodig om zelf aan de slag te gaan met verklarende analyses. Literatuuronderzoek kan soms al voldoende zijn.

Waar vind je dat soort wetenschappelijke inzichten? Artikelen zijn doorgaans te vinden via scholar.google.com, maar een zoektocht via Google levert vaak ook al de juiste onderzoeken op. Daarnaast is er vanuit de (semi-)overheid steeds meer interesse om kennisbanken aan te leggen met effectieve interventies. Zo heeft het NJI een overzicht van erkende jeugdinterventies. Er zijn ook ‘interventiebanken’ op het gebied van mensen met een lage sociaaleconomische status, binnen het sociaal domein, bewegen en de ouderenzorg.

• Verdiepend onderzoek 2: verklarend onderzoek

Bij een vraagstuk is het goed om te letten op correlatie vs. causaliteit. Om zulke verbanden aan te tonen, kan gebruik worden gemaakt van statistische onderzoeksprogramma’s. Binnen deze programma’s zijn er allerlei toetsen die gedaan kunnen worden om te onderzoeken of er sprake is van een correlatie of een causaal verband.

Verklarend onderzoek kan ook zelf opgezet worden, bijvoorbeeld door middel van een experiment ofwel randomized controlled trial (RCT). Met een RCT worden de deelnemers op een aselecte manier (random) verdeeld in twee of meer onderzoeksgroepen. Hierbij is er minimaal een interventiegroep en een controlegroep. Op deze manier is het mogelijk om het effect van een behandeling vast te stellen op de groep. Dat kan bijvoorbeeld door middel van vragenlijsten.

Laten we de werking van een RCT duidelijk maken met een voorbeeld. Veel gemeenten proberen mensen met een bijstandsuitkering in beweging te brengen door verschillende interventies. Dit kan variëren van leer- en werktrajecten tot coaching, met als uiteindelijk doel dat personen uitstromen. Het effect van een interventie zou bestudeerd kunnen worden door een interventie aan de interventiegroep aan te bieden en niet aan de controlegroep. Als de uitstroom bij de eerste groep 20% is en bij de tweede groep 10%, is het aannemelijk dat de interventie effect heeft. In de praktijk zijn er nog wat voorwaarden die verbonden worden aan het opzetten van een RCT (denk bijvoorbeeld aan ethische kwesties), maar hier wordt steeds meer mee geëxperimenteerd.

• Verdiepend onderzoek 3: kwalitatief onderzoek

Een andere manier om cijfers te duiden is door het verrichten van kwalitatief onderzoek. Dit wordt meestal uitgevoerd in de vorm van interviews, groepsgesprekken en observaties. Een beleidsmedewerker ziet in het dashboard bijvoorbeeld dat de uitstroom uit de bijstand nogal verschilt naar achtergrondkenmerken als leeftijd en geslacht. Er is in deze gemeente voor gekozen om geen RCT op te zetten, maar er is wel behoefte aan verdiepend onderzoek.

Interviews en groepsgesprekken met verschillende doelgroepen helpen dan om de cijfers verder in te kleuren. Het gaat dan niet alleen om inwoners met een bijstandsuitkering, maar ook om de professionals die hen begeleiden. Wat werkt het beste voor inwoners en wat is voor hen fijn? Wat werkt in het opzicht van de professionals het beste?

Door kwantitatief (data-analyse) en kwalitatief onderzoek te combineren, ontstaat zo een breder beeld. Vanuit Van Dam & Oosterbaan raden we aan om waar mogelijk voor een combinatie van onderzoeksvormen te kiezen. We zien namelijk vaak dat cijfers alleen niet genoeg zeggen. Uit de meeste cliëntervaringsonderzoeken komt bijvoorbeeld een 7,7 als gemiddeld cijfer. Maar pas door in te zoomen op individuele ervaringen, ontstaat er veel meer inzicht in wat goed gaat en wat beter kan.

Tot slot – wat je wel en niet kunt concluderen 

Data zijn een goed startpunt om problemen beter te begrijpen. Wees je bij een dashboard bewust van wat je wel en niet kunt concluderen; en hoe je eventueel verder kunt onderzoeken over wat nog onbekend is. Om echt op zoek te gaan naar verklaringen, zijn verschillende stappen mogelijk. Denk dan aan literatuuronderzoek, het uitvoeren van verklarend onderzoek en het doen van kwalitatief onderzoek. Door een combinatie van deze vormen ontstaat vaak een beter beeld van maatschappelijke vraagstukken.

Auteurs: Charlotte Altena, Demi van den Tillaart

Hulp hierbij nodig? Van Dam & Oosterbaan kan zowel helpen bij het presenteren van data als het uitvoeren van vervolgonderzoek. Info@vandamoosterbaan.nl 085 – 112 4371