Effectmeting - niet iets wat je erbij doet

Effectmeting - niet iets wat je erbij doet
Geschreven door Ronald Kubbe op 21-01-2017

Een artikel in Binnenlands Bestuur over effectmeting in het sociaal domein was de aanleiding om deze blog te schrijven over effectmeting. In het artikel wordt aangegeven dat een aantal colleges terecht gewezen is door hun rekenkamers. Er is onvoldoende informatie beschikbaar over de resultaten van het in gang gezette beleid. De rekenkamers hameren op de ontwikkeling van meetbare doelstellingen die richting geven aan de uitvoering van het sociaal beleid en waaraan prestaties kunnen worden gemeten.

Op welk manier kan een gemeente of zorginstelling hier vorm aan gaan geven? Dit is een lastig vraagstuk en omvat meer dan bijvoorbeeld het realiseren van een transparante informatievoorziening (om voldoende informatie beschikbaar te krijgen). In deze blog wil ik onderdelen identificeren die nodig zijn bij het sturen op effect. Hiertoe zijn een aantal bronnen geraadpleegd waar onderzoek gedaan is naar effectmeting. De volgende onderdelen zijn uit dit (beperkte) onderzoek naar voren gekomen:

Gebruik een sturingsmodel als leidraad
Werk deze uit naar een domein specifiek model en benoem de indicatoren
Verzamel en analyseer data
Implementeer een cultuur gericht op het bereiken van de gewenste effecten in de gehele organisatie

Sturingsmodel

Veel informatie is beschikbaar over het sturen op output, dit is ook logisch aangezien de output binnen het invloedsdomein van een enkele organisatie ligt. Sturingsmodellen die gericht zijn op het sturen op effect (of outcome) zijn minder onderzocht en beschreven. Het volgende model komen we tegen in publieke omgevingen.

Income gaat over de maatschappelijke omgeving, input betreft het werkaanbod aan de organisatie, througput het proces en de activiteiten om het werkaanbod te verwerken, output gaat over het resultaat wat bereikt wordt en outcome over het uitwerking van het resultaat in de maatschappij.

Twee interessante documenten op dit gebied zijn: Leidraad effectmeting bij inspecties van de werkgroep Effectmeting IG-Beraad en De Implementatie van Effectsturing, een explorerend onderzoek naar de nadruk op effectsturing binnen de Nationale Politie van Boegem en Brouwer.

Het eerste document reikt het splitsen van outcome indicatoren naar intermediate, immmediate en impact outcomes. De eerste 2 worden dan tusseneffecten genoemd, de laatste is het finale effect (op de samenleving). Het maken van dit onderscheid helpt bij het ontwerpen van het model en het met elkaar communiceren over de gewenste effecten.

De auteurs van het explorerend onderzoek naar de nadruk op effectsturing bij de politie stellen een aanpassing van het model voor, zodat outcome naast output komt te staan in plaats van erachter (output/outcome model 2.0). Tevens doen ze aanbevelingen over het meetbaar maken van de outcome. Dit door de meetindicatoren te testen op meetbaarheid, co-creatie en relevantie.

Domeinmodel en indicatoren

Het algemene sturingsmodel zal vertaald worden naar een domeinspecifiek model. Vaak moet over de grenzen van de eigen organisatie gekeken worden om alle factoren in beeld te krijgen die de outcome kunnen beïnvloeden. Op dit vlak worden vaak wetenschappelijke onderzoeken uitgevoerd, bijvoorbeeld voor criminaliteitsbeheersing (politie) of het domein jeugdhulp. Een voorbeeld van een model is te vinden op pagina 5 in de publicatie over outcome sturing in de jeugdhulp. Hier worden 3 outcome-indicatoren benoemd voor het domein jeugdhulp (aantal afhakers, tevredenheid gebruikers en probleemafname).

Van het domeinspecifieke model kunnen vervolgens indicatoren en de relaties daartussen uitgewerkt worden. Dan zijn de outcome indicatoren bekend en hoe deze elkaar beïnvloeden.

Overleg en overeentemming over het te voeren beleid met ketenpartners is hierbij zeer belangrijk omdat het hier gaat over maatschappelijke effecten die je wilt bereiken. Je opereert hier niet binnen de organisatiegrenzen maar er buiten.

Dataverzameling en - analyse

Vaak is informatievoorziening ten behoeve van de outputsturing van de organisatie al ingericht (in de vorm van bijvoorbeeld dashboards, kwartaalrapportages, et cetera). Dit kan een waardevolle bron zijn voor de effectsturing. Daarnaast kan ook gedacht worden aan vormen zoals het uitvoeren van (quasi-)experimenten en nulmetingen. Kies voor een mix waarbij de hoofdstroom via het normale bedrijfsproces loopt en aanvullend experimenten uitgevoerd worden.

Na het verzamelen van data zal de data-analyse plaats gaan vinden. Betrek bij de data-analyse zoveel mogelijk relevante omgevingsvariabelen in verband met het causaliteitsvraagstuk. Hier kom je ook terug op het ontworpen domein specifieke model. Aanpassing van het model naar aanleiding van de bevindingen kan noodzakelijk blijken te zijn. Belangrijk voor de acceptatie van de cijfers hierbij is het inrichten van de kwaliteitsborging en het kunnen valideren van de gegevens.

Cultuur gericht op bereiken van gewenste effecten

Vaak weten de mensen in een organisatie heel goed waar ze voor werken en ik zie ook een grote drive om de mensen te helpen. Er zijn (door de grote drive) ook veel meningen over welke maatregelen de gewenste effecten bereiken. Het is dan zorg om een continue discussie met elkaar in te regelen om er voor te zorgen dat iedereen vanuit dezelfde gedachte samenwerkt aan het bereiken van de beoogde effecten. Of dit nu op bestuurlijk samenwerkingsniveau of de werkvloer is. Ook het samenwerken met kennisinstellingen zoals universiteiten biedt hier hulp in. Kennisinstellingen kunnen ondersteuning bieden bij het ontwerpen en toetsen van het domeinspecifiek model en bij de data-analyse. Een mooi voorbeeld om dit in je organisatie in te bedden zijn we laatst tegengekomen in een organisatie waar gewerkt wordt met een kennisambasadeur.

Labels: innoviq, 3d, 5 venster model, data analyse, data verzamelen, effectmeting, informatie, jeugdzorg

Een jubilaris in ons midden!

Een nieuwe collega...

Werk je met persoongsgegevens? Aan de slag met een DPIA