Beleidsmedewerkers willen cijfers én verhalen
Beleidsmedewerkers jeugd gebruiken de Landelijke Jeugdmonitor en het Jaarrapport Landelijke Jeugdmonitor vooral als vergelijkingsinstrument met andere gemeenten en als signaalgever van landelijke trends. Ze vinden cijfers belangrijk voor hun werk, maar willen daar geen keiharde conclusies aan verbinden. Dat blijkt uit een rondgang langs acht willekeurige gemeenten.
De rondgang voerde langs de gemeenten Alphen aan den Rijn, Meppel, Deventer, Breda, Leiden, Vlissingen, Nieuwkoop en Zwolle. Centrale vragen aan de geïnterviewde beleidsmedewerkers waren: hoe bekend bent u met de Landelijke Jeugdmonitor en hoe gebruikt u deze? Verder waren er aanvullende vragen over onder meer de inzet en bekendheid van spiegelrapporten. Eén gemeente (Alphen aan den Rijn) nam ook deel aan de rondgang van 2017. Met deze gemeente werd teruggeblikt op de verwachting voor de toekomst die een jaar eerder werd uitgesproken en in hoeverre deze is uitgekomen.
11.1Bekendheid en gebruik van de Landelijke Jeugdmonitor
Alle geïnterviewde gemeenten werken met een eigen lokale of regionale jeugdmonitor. In veel van deze lokale monitoren worden gegevens van de Landelijke Jeugdmonitor verwerkt. Vaak aangevuld met cijfers van StatLine. ‘Dat zijn belangrijke informatiebronnen, naast ‘Waar staat je gemeente’ en de gemeentelijke beleidsplannen en evaluatierapporten’, zegt Inge van der Velde, onderzoeker bij de gemeente Deventer. ‘Wij gebruiken in totaal twintig bronnen voor onze monitor ‘De jeugd in beeld’. Dat zijn zowel interne als externe bronnen. Het mooie van de Landelijke Jeugdmonitor is vooral dat het laat zien wat er landelijk speelt op het gebied van jeugd. Daarmee is het voor ons een richtinggever voor onze eigen thema’s. Wij kunnen zelf geen trends vaststellen, daarvoor is ons gebied te klein. De Landelijke Jeugdmonitor kan dat wel. Dat macro-aspect vind ik dé onderscheidende kracht van de monitor.’
Ook beleidsmedewerker Gerda Visser van de gemeente Leiden gebruikt de Landelijke Jeugdmonitor om zich te informeren over landelijke trends en ontwikkelingen. Voor de uitvoering van het beleid staat de eigen monitor Jeugdhulp Holland Rijnland centraal. ‘Daarin zijn overigens verschillende CBS-cijfers verwerkt, onder meer over de typen hulp die wordt verleend en over hulpverlening die is beëindigd.’ Cijfers geven maar voor een beperkt deel houvast, vindt Visser. ‘Ze zijn zeker niet heilig. Bovendien: verschillende databronnen hebben verschillende indicatoren, waardoor je cijfers niet uniform kunt gebruiken. Wij kiezen dan ook hiernaast voor kwalitatief onderzoek op basis van verhalen. Ik denk dat je inhoudelijk meer kunt halen uit de context van drie ervaringsverhalen dan de stijging van een landelijk of gemeentelijk tevredenheidscijfer met een halve procent. Want wat zegt zoiets nou eigenlijk?’
Julia van Engelen van de gemeente Breda is beperkt bekend met de Landelijke Jeugdmonitor. ‘Ik heb er wel eens op gekeken, maar ik gebruik hem zelf niet’, vertelt de beleidsmedewerker. ‘Wij werken sinds 2015 met de GGD Transformatiemonitor West-Brabant en hebben in het afgelopen jaar steeds meer zicht gekregen op regionale en lokale managementinformatie.’ Of de Landelijke Jeugdmonitor in de toekomst een belangrijker rol in haar werk zal spelen, kan ze nog niet zeggen. ‘De Landelijke Jeugdmonitor kan een belangrijke bron zijn om vergelijkingen te kunnen trekken tussen regionale en landelijke ontwikkelingen. We moeten daarbij wel alert blijven op de verschillende definities die gehanteerd worden voor bepaalde begrippen. Bijvoorbeeld als het gaat om het onderscheid tussen vrij toegankelijke en niet-vrij toegankelijke jeugdhulp.’
Lilian Matton van de gemeente Nieuwkoop gebruikt de Landelijke Jeugdmonitor om vergelijkingen te maken met andere regio’s en bijvoorbeeld ook voor presentaties aan de gemeenteraad. ‘Helaas vind ik de Landelijke Jeugdmonitor niet erg gebruiksvriendelijk’, zegt ze. Matton heeft een aantal verbetersuggesties. ‘De manier waarop tabellen worden weergegeven kan wat mij betreft wel beter. Ik vind dat de makers daarin meer kunnen uitgaan van de gebruiker. Denk bijvoorbeeld aan meer visualisaties. Ook de manier van navigeren kan gebruiksvriendelijker. En de gelaagdheid van de site kan beter.’
Sabina Jonker, beleidsadviseur jeugd van de gemeente Zwolle, gebruikt de Landelijke Jeugdmonitor vooral als instrument om trends te ontdekken. ‘De meerwaarde van de monitor zit in de enorme hoeveelheid data over het onderwerp jeugd. Het datasysteem van onze gemeente gaat terug tot 2015, maar de data van het CBS gaan veel verder. Door beide bronnen naast elkaar te leggen kunnen we – door de langere geschiedenis van de CBS-data – ook lokale trends beter duiden.’
Meppel is bekend met de Landelijke Jeugdmonitor, maar haalt er geen sturings- en beleidsinformatie uit, zegt beleidsmedewerker Auke de Jong. ‘We gebruiken de Jeugdmonitor om bepaalde cijfers te checken en verschillen te zoeken, om vervolgens te kunnen verklaren wat we zien. Soms zien we flinke verschillen met cijfers in ons eigen systeem, dat we uiteindelijk real time willen inzetten. Het kan bijvoorbeeld voorkomen dat de Landelijke Jeugdmonitor een stijging weergeeft bij een bepaald onderwerp, terwijl ons eigen systeem een daling vertoont. Tegenstrijdig inderdaad, maar dat verklaren we door het tijdstip van registratie en de verschillen in definities.’
Ook Adrie de Klerk van de gemeente Vlissingen gebruikt de Landelijke Jeugdmonitor om afwijkingen en overeenkomsten met de eigen Zeelandscan en andere lokale bronnen op te sporen (waaronder productiegegevens van de inkooporganisatie voor jeugdhulp). Voor het duiden van alle cijfers en ontwikkelingen kiest Vlissingen met haar twee buurgemeenten Middelburg en Veere daarnaast voor het verhalend verantwoorden, door in gesprek te gaan met uitvoerende professionals. Deze zogenaamde transformatiedialogen met ‘de werkgemeenschap’ worden sinds 2015 drie keer per jaar georganiseerd. De Klerk: ‘Alle partijen praten mee: van zorgaanbieders tot welzijnswerk, van maatschappelijk werk en GGD tot politie. De verantwoordelijk wethouders jeugd van de drie gemeenten zijn actief deelnemer en halen op wat er werkelijk gebeurt’.
11.2Veel data, weinig tijd
Alle geïnterviewde beleidsmedewerkers hebben te maken met snel groeiende hoeveelheden data en beperkte tijd om die te bestuderen. Inge van der Velde spreekt van een ‘wildgroei aan bronnen.’ Ook teamleider Thom de Ruiter van Alphen aan den Rijn wijst op dit spanningsveld, in antwoord op de vraag of zijn gemeente inmiddels gebruik maakt van spiegelrapporten. Zijn collega Sosja Rooijmans vertelde tijdens de rondgang van vorig jaar dat Alphen aan den Rijn nog geen spiegelrapporten had opgevraagd, maar dat in 2018 zeker zou doen. Zij gaf aan deze rapporten in te willen zetten als instrument voor kwaliteitsverbetering bij zorgaanbieders. De spiegelrapporten, gebaseerd op jeugdhulpgegevens die hulpverleners aan het CBS verstrekken, worden door het CBS aan jeugdhulpverleners geleverd. Daarin staat per gemeente een uniform overzicht van het aantal geleverde zorg- en hulptrajecten aan jongeren waarvoor de betreffende gemeente verantwoordelijk was. Jeugdhulpaanbieders kunnen deze rapporten doorsturen naar gemeenten. Die krijgen zo een beeld van hun marktpositie ten aanzien van andere gemeenten en kunnen op basis van de scores zorgaanbieders vergelijken.
Alphen aan den Rijn heeft dit voornemen nog niet waargemaakt, erkent De Ruiter. ‘Vorig jaar waren we volop bezig met de aanbestedingsprocedure voor de jeugdhulp. Dit jaar is tot nu alle aandacht uitgegaan naar de implementatie van het contract en afspraken met de nieuwe aanbieder – een consortium van acht aanbieders – en de overgang van cliënten naar de nieuwe aanbieder. Daardoor is het informatievraagstuk naar achteren geschoven.’ Als deze zaken op orde zijn en Alphen aan den Rijn wel weer tijd heeft, zal de aandacht onder meer uitgaan naar de spiegelrapporten. ‘Maar’, zo vraagt de Ruiter zich hardop af, ‘in hoeverre is die informatie ook daadwerkelijk bruikbaar en van toepassing op de eigen gemeente? Met die vraag worstelen we nu soms ook al. En dat zal, met het oog op de grotere berg aan data, in de toekomst alleen nog maar erger worden.’
Een deel van de geïnterviewde gemeenten weet dat de spiegelrapporten er zijn, maar is er (nog) niet aan toegekomen om ze te gebruiken. Sommige gemeenten kennen ze niet. We gebruiken ze momenteel nog niet; maar we gaan de mogelijkheden zeker bekijken’, zegt Julia van Engelen (Breda).
11.3Naslagwerk
Jaarlijks verschijnt het Jaarrapport Landelijke Jeugdmonitor. De meerderheid van de geïnterviewde beleidsmedewerkers is bekend met het Jaarrapport. Ze vinden het een waardevol naslagwerk en belangrijke bron voor het ontdekken van trends. Met ingang van 2018 verschijnt het jaarrapport niet meer als pdf, maar als interactieve publicatie. Gebruikers kunnen doorklikken naar links buiten het rapport en met een eenvoudige muisbeweging cijfers in grafieken en gemeentekaartjes zichtbaar maken. De reacties op de nieuwe verschijningsvorm zijn wisselend. Gerda Visser vindt een pdf prettig, terwijl de net afgestudeerde Lilian Matton juist de interactieve versie toejuicht.
Visser erkent dat ze zich – met het oog op de medewerking aan dit hoofdstuk – beter dan anders heeft verdiept in het Jaarrapport. ‘Wat ik prettig vind aan het jaarrapport is de brede opzet. Het zou fijn zijn als meer collega’s hier kennis van nemen.’ Julia van Engelen van de gemeente Breda vindt dat het jaarrapport een mooie aanvulling kan vormen op regionale managementinformatie, omdat het jaarrapport zich meer richt op trends en een bredere opzet heeft dan alleen jeugdhulp. Daarentegen ligt er wel meer een focus op jongeren ten opzichte van de gegevens over het (jonge) kind, vindt ze. ‘Ik pleit voor een nog bredere kijk op het opgroeien en ontwikkelen van jeugd, over alle levensdomeinen.’ Maar haar eindoordeel is positief: ‘Het hoofdstuk over onderwijs in de editie van 2017 bijvoorbeeld vind ik heel relevant, in relatie tot ondersteuning van kinderen. Daar kunnen we wat mee.’
Lilian Matton vindt dat de Jeugdmonitor en het Jaarrapport Landelijke Jeugdmonitor meer moeten inspelen op de transformatie van de jeugdzorg die in 2015 is ingezet. ‘Een belangrijk doel van de transformatie is bijvoorbeeld dat jeugdhulp dichterbij moet worden georganiseerd. Dan zou je verwachten dat de Jeugdmonitor daar met bepaalde vragen op inspeelt. Maar ik zie nog steeds dat een algemeen begrip als ‘ambulant’ wordt gebruikt. Een term die te weinig zegt over de fysieke afstand die jeugdigen moeten afleggen voor hulp. Om verder te komen met de transitie moeten we systemen anders inrichten. Om beter bruikbare data te krijgen moeten we andere vragen stellen. Gemeenten en aanbieders moeten als partner optrekken bij het verzamelen van data. Ook een tool als de Landelijke Jeugdmonitor kan hierbij helpen.’
Sabina Jonker denkt dat lokale en regionale cijfers aan belang winnen ten opzichte van de cijfers van de Landelijke Jeugdmonitor. ‘Omdat dat onze eigen bronnen zijn en we weten waar ze vandaan komen. Die lokale en regionale cijfers zullen steeds meer gaan differentiëren omdat iedere regio eigen beleidskeuzen maakt. Lokaal en regionaal worden steeds belangrijker en ik vind dat de Landelijke Jeugdmonitor daarin mee moet door ook op die niveaus te differentiëren. En dus niet alleen een lándelijke monitor te blijven. Althans, als het CBS wil meebewegen met de ontwikkelingen.’
11.4Vernieuwde website
Tijdens de rondvraag passeren ook StatLine, de vernieuwing van de Jeugdmonitor-website en de in mei 2018 door CBS en VWS verzonden lokale factsheets de revue. Deze lokale rapporten zijn verstuurd naar zowel beleidsmedewerkers als raadsleden. Doel van de rapporten is de gemeenten te stimuleren om zichzelf te vergelijken met het regionale en landelijke gemiddelde, te voorkomen dat gemeenten onnodig cijfers uitvragen en om te stimuleren dat debatten op basis van basis van feiten worden gevoerd.
De lokale rapporten zijn vrijwel geen enkele beleidsmedewerker onder ogen gekomen. Illustratief is het antwoord van Inge van der Velde van de gemeente Deventer, die de vraag uitzette bij collega’s en later per mail antwoordde. ‘Ik kreeg een negatief antwoord. We hebben natuurlijk een vrij grote organisatie, dus het kan alsnog zijn binnengekomen. Maar dan weet ik niet waar.’ Thom de Ruiter (Alphen aan den Rijn) kent het lokale rapport ook niet. Hij doet de suggestie om de rapporten op naam naar de verantwoordelijke beleidsmedewerkers te sturen. Dat verhoogt de kans dat de cijfers bij de juiste personen terechtkomen.
De vernieuwing van de website van de Jeugdmonitor is weinig beleidsmedewerkers opgevallen. Inge van der Velde is er positief over. ‘De site werkt goed en ziet er modern uit. De verbetering triggert mij wel. Ik gebruik hem nu vaker.’
StatLine wordt door alle geïnterviewde beleidsmedewerkers gebruikt, maar de gebruikerservaringen zijn wisselend. ‘Lastig in gebruik’, oordeelt Julia van Engelen. ‘Vooral wanneer je verschillende tabellen en gegevens met elkaar wilt verbinden.’
Dankzij de open datafunctie van StatLine kunnen veel nieuwe informatiebronnen zoals apps worden ontwikkeld door data te combineren – ook op het gebied van jeugdhulp. Daarmee beschikken beleidsmedewerkers over nog meer data. Toch lijkt de toename aan data te leiden tot een soort data-paradox bij beleidsmedewerkers. Julia van Engelen daarover: ‘Nu we steeds meer toegang krijgen tot cijfers, gaan we op zoek naar het verhaal achter die cijfers en de toepassing ervan.’ Sabina Jonker van de gemeente Zwolle beaamt dit: ‘Meer data betekent meer duiding. Het is ook wel logisch dat we nu veel meer naar die duiding op zoek zijn. Na de transitie richtten we ons op het op orde hebben van algemene informatie en het opbouwen van data. Nu we dat hebben, komt de vraag naar verdieping naar boven. Daar is meer informatie voor nodig.’