'Ga niet uit van cijfers, maar van waarden'
Het eerste ‘spoor’ meet de effecten van kortlopende activiteiten die in de Bibliotheek zelf plaatsvinden. Denk aan een Klik & Tik-cursus, een taalactiviteit of een schrijversbezoek. “We hebben als werkgroep Effectmeting een doelstellingkaart ontwikkeld”, vertelt Tuinenburg enthousiast. De kaart is kort, concreet en aangepast op de doelgroep. Op de voorkant staat de doelstelling van de activiteit en op de achterkant twee vragen: voldoet de activiteit aan de doelstelling én wat gaat u met de opgedane kennis of ervaring doen? Tuinenburg: “Hiermee meten we zowel het directe als het indirecte effect: is de gebruiker wijzer geworden van de activiteit en gaat de gebruiker deze gebruiken voor zijn verdere ontwikkeling? Zo kan iemand die aan een computercursus heeft meegedaan, nu op zoek naar werk en nieuwe contacten via social media. Vergeet dit soort afgeleide, belangrijke waarden als ‘participatie’ niet mee te nemen in de resultaten van je effectmeting.”
Indirecte effecten
Het tweede spoor dat de werkgroep heeft uitgezet, meet de effecten van langlopende, vaak landelijke projecten. “Omdat de projecten een langere doorlooptijd hebben, is het extra belangrijk om tussentijds te meten: zitten we wel op de goede weg?”, aldus Tuinenburg. Hij geeft het project de ‘Voorleesexpress’ als voorbeeld. De werkgroep Effectmeting bundelt hiervoor de krachten met een taalspecialist die een monitor heeft ontwikkeld waarmee de vrijwilligers de ontwikkeling van de kinderen bij kunnen houden. Daarnaast zet Bibliotheek Eemland ook hier de doelstellingenkaart in, vooral om specifieke onderdelen te meten. Wat is bijvoorbeeld de impact op de ouders? Nemen zij doordat de Voorleesexpress bij hen thuis komt, nu bijvoorbeeld ook deel aan cursussen bij het Taalhuis? “Je kijkt dus ook hier weer naar de indirecte effecten”, licht Tuinenburg toe.
Door tussentijds te meten, kun je je programma steeds bijstellen en verdiepen.
Tussentijds meten
Een ander belangrijk project waarvan de Bibliotheek Eemland de resultaten in kaart brengt is ‘de Bibliotheek op school voor het vmbo’. Tuinenburg: “Hiervoor heeft een onderwijsspecialist een motivatiemeter ontwikkeld. Zowel docent als leerlingen vullen een vragenlijst in over hun wensen, interesses en aandachtspunten. Daarbij vragen we expliciet naar de behoefte en motivatie van de leerlingen en of ‘de Bibliotheek op school’ daadwerkelijk het effect heeft dat we voor ogen hebben. Bovendien gebruiken we ook hier de doelstellingenkaart om tussentijds effecten te meten. Daarmee kun je je programma steeds bijstellen en verdiepen. Eerst meet je bijvoorbeeld het leesplezier, maar op een gegeven moment wil je misschien ook een inschatting maken wat het betekent voor begrijpend lezen.”
Bijslijpen
Beide sporen zijn nog volop in ontwikkeling. Binnenkort start de Bibliotheek Eemland met het meten van de kortlopende of eenmalige activiteiten met behulp van de doelstellingkaart. Nog geen concrete resultaten dus, wel staat de werkgroep het proces helder voor ogen: stap één is het verfijnen van de doelgroepen. Iedereen heeft wel een beeld van een doelgroep, maar klopt dat beeld ook? “Stap twee is nagaan of de producten die we voor die doelgroepen hebben bedacht ook echt aansluiten. Zo niet, dan moet je daar conclusies aan verbinden. Om het mooi te zeggen: die inzichten leiden steeds tot een nieuwe waardenpropositie”, aldus Tuinenburg.
Op maat
De landelijke projecten lopen al langer. De eerste resultaten worden door de specialisten vooral gebruikt om aanpassingen in hun werk te doen. De volgende stap is om de resultaten te vertalen in een onderzoeksverslag. Dit presenteert de Bibliotheek aan de verschillende gemeenten. Tuinenburg: “Omdat de Bibliotheek Eemland een gebied van vijf gemeenten beslaat, wordt het verslag op maat gemaakt. Elke gemeente legt de focus op een ander gebied of heeft andere subsidiestromen. Het is goed om je daarvan bewust te zijn.”
Lessons learned
- Gebruiker op één
Ga altijd uit van je gebruiker. Heb je doelgroep zo helder mogelijk voor ogen en vraag of je aanbod aansluit bij de verwachtingen en interesses van je doelgroep. - Hoe korter hoe beter
Wees zo concreet en beknopt mogelijk in je vraagstelling. Wij maken geen gebruik van de landelijke effectmonitor. Die vragenlijsten zijn lang en raken volgens ons niet altijd de kern. - Inzet van externen? Wees alert!
Let op wanneer je afhankelijk bent van externen met je onderzoek. Zo hebben we eerder een onderzoek gedaan naar de effecten van schrijversbezoek tijdens de Kinderboekenweek. We vroegen daarvoor de medewerking van leerkrachten. Maar elke leerkracht heeft een andere agenda en voorkeur. Daardoor waren de resultaten te gekleurd.