Achtergrond en algemene informatie
- Hoe is de Impactmonitor tot stand gekomen?
-
De monitor is in nauwe afstemming met het bibliotheekveld ontwikkeld. Op verschillende momenten en manieren is input verzameld voor de ontwikkelingen van de vragenlijsten en de infrastructuur:
- Tijdens verschillende workshops zijn de behoeften en ervaringen van bibliotheken op het gebied van effectmeting opgehaald. Deze vormden het startpunt van de ontwikkeling van de monitor.
- Een landelijke werkgroep van vertegenwoordigers uit POI’s heeft meegedacht over de opzet en inrichting van de Impactmonitor.
- Middels kwalitatief onderzoek (interviews en groepsgesprekken) zijn ervaringen van bibliotheekbezoekers en cursusdeelnemers opgehaald die input boden bij de ontwikkeling van de vragenlijsten.
- Een klankbordgroep bestaande uit lokale bibliotheken heeft de vragenlijsten getest en voorzien van feedback.
- Wat is het voordeel van een landelijk instrument?
-
Met een landelijk ontwikkeld instrument wordt bibliotheken veel werk uit handen genomen bij het uitvoeren van een effectmeting. Het verzamelen en rapporteren van de onderzoeksgegevens met behulp van standaard vragenlijsten gebeurt geautomatiseerd, waardoor de bibliotheek niet zelf aan de slag hoeft met het maken en analyseren van vragenlijsten.
Doordat gegevens via een centrale infrastructuur worden verzameld, is het tevens mogelijk om op landelijk niveau uitspraken te doen over de effectiviteit en impact van bibliotheekprogramma’s binnen het domein van de basisvaardigheden.
- Hoe sluiten gestandaardiseerde instrumenten aan op mijn lokale situatie?
-
De Impactmonitor is in eerste instantie bedoeld om bibliotheken lokaal te voorzien van waardevolle informatie over hun educatieve en maatschappelijke dienstverlening. De vragenlijsten in de Impactmonitor zijn dan ook zodanig opgesteld dat deze voor de meeste lokale bibliotheekprogramma’s op de betreffende thema’s goed in te zetten zijn. Hoewel doelgroep en invulling van een programma kunnen verschillen, zijn veel elementen en effecten van programma’s van vergelijkbare aard. Dit blijkt ook uit de landelijke Bibliotheekmonitor-onderzoeken die jaarlijks worden uitgevoerd om de dienstverlening van bibliotheken te monitoren.
Bijkomend voordeel van het werken met standaard vragenlijsten en een landelijke portal is dat resultaten op geaggregeerd niveau kunnen worden verzameld en geanalyseerd. De mogelijkheid om hierbij verschillende programma’s en verschillende werkwijzen te vergelijken, geeft inzicht in wat werkt en wat niet. Dit is ook de reden dat deelnemende bibliotheken voor het analyseren van de landelijke data wordt gevraagd om de belangrijke kenmerken van de programma’s die zijn gemeten door te geven in een korte vragenlijst.
- Wat voor diensten en activiteiten kan ik meten met de Impactmonitor?
-
De Impactmonitor meet de vorderingen die deelnemers aan cursussen maken in de bibliotheek. Dit zijn cursussen op het gebied van: (1) computer & internet;; (2) e-overheid en (3) de Nederlandse taal. Veelvoorkomende cursussen zijn bijvoorbeeld de cursussen van Klik & Tik, Digisterker en Lees en Schrijf!, maar ook andere cursussen op deze gebieden kunnen met de Impactmonitor worden gemeten. Een overzicht van cursussen waarvoor de verschillende modules kunnen worden ingezet, is te vinden in de handleiding. Je kunt daarnaast ook zelf cursussen toevoegen die niet in de lijst staan.
In een later stadium zullen aan de Impactmonitor ook andere modules worden toegevoegd die de opbrengsten meetbaar maken van bibliotheekprogramma’s gericht op andere aandachtgebieden en beleidsdomeinen.
- Wat is het resultaat uit de monitor?
-
Normaliter hebben bibliotheken via een dashboard toegang tot een rapportageomgeving waar zij op elk gewenst moment de resultaten uit hun eigen metingen (basisbibliotheek of vestiging) kunnen uitdraaien. Resultaten van de eigen bibliotheek kunnen hier ook vergeleken worden met het landelijk gemiddelde van alle deelnemende bibliotheken of data uit voorafgaande jaren. De resultaten worden weergegeven in grafieken en tabellen, waarbij verschillende selecties of filtermogelijkheden worden aangeboden. Een toelichting op onderzoeksbevindingen vind je in de landelijke rapportage die aan het eind van het onderzoeksjaar wordt opgemaakt en gepubliceerd. In de tijdelijke tussenoplossing is het niet mogelijk om een dashboard te maken. Aan het einde van de tussenoplossing ontvangen bibliotheken een eenvoudig rapport met de resultaten. Tussentijdse resultaten zijn op te vragen bij de KB.
- Is de Impactmonitor verplicht?
-
De Impactmonitor is niet verplicht. Wel biedt de monitor waardevolle inzichten in de impact van jouw bibliotheek, die je kunt gebruiken in het gesprek met stakeholders en andere partijen.
- Hoe verhoudt de Impactmonitor zich tot andere initiatieven?
-
We begrijpen dat het voor bibliotheken niet altijd makkelijk is om een keus te maken welk instrument voor welk doel in te zetten. Om bibliotheken daarbij te helpen, hebben we samen met onze partners Het Begint met Taal en Maurice de Greef dit document opgesteld. Het betreft een inventarisatie van landelijk beschikbare instrumenten die ingezet kunnen worden ten behoeve van het monitoren, registreren en koppelen van cursisten op het gebied van taal, rekenen, digitale vaardigheden en inburgering. Doel is dat bibliotheken met dit document een welbewuste keuze kunnen maken welk systeem te gebruiken. Ook Probiblio heeft de ontwikkelingen rondom de monitoring van volwasseneducatie in kaart gebracht. In de toekomst en doorontwikkeling van de verschillende instrumenten zullen we ook nauw samenwerken en afstemmen met deze partners om overlap en/of dubbel werk te voorkomen.
Inhoud van de vragenlijsten
- Wat voor effecten meet de Impactmonitor?
-
De Impactmonitor is primair gericht op het zichtbaar maken van de opbrengsten van cursussen binnen de genoemde domeinen. Ook wordt gevraagd naar de motivatie van cursisten en hun oordeel over de cursus in de bibliotheek.
De effecten die worden gemeten, zijn onder te brengen in drie typen, waarbij wordt gekeken naar de verandering die optreedt tussen de start en afronding van de cursus:
- Niveau van kennis en vaardigheden: wat weet en kan men al op een bepaald gebied?
- Gedrag: in hoeverre is men actief op dit gebied in het dagelijks leven?
- Attitude: hoe kijkt men tegen een bepaald onderwerp aan?
Daarnaast wordt respondenten middels stellingen gevraagd naar de mate waarin men positieve opbrengsten van de cursus ervaart in het dagelijks leven.
- Welke cursussen kan ik met de Impactmonitor meten?
-
De Impactmonitor meet de vorderingen die deelnemers aan cursussen maken in de bibliotheek. Dit zijn cursussen op het gebied van (1) computer & internet; (2) e-overheid; en (3) de Nederlandse taal. Veelvoorkomende cursussen zijn bijvoorbeeld de cursussen van Klik & Tik, Digisterker en Lees en Schrijf!, maar ook andere cursussen op deze gebieden kunnen met de Impactmonitor worden gemeten. Een overzicht van cursussen waarvoor de verschillende modules kunnen worden ingezet, is te vinden in de handleiding. Wanneer je in de beheerportal een module hebt gekozen, vind je de lijst met cursussen voor die betreffende module onder het tabblad ‘Cursussen’.
- Zijn vragenlijsten niet te moeilijk voor de doelgroep?
-
De Impactmonitor maakt gebruik van vragenlijsten om de effecten van en tevredenheid over programma’s meetbaar te maken. Het voordeel van vragenlijsten is dat gegevens gedurende het hele cursusjaar op eenvoudige en efficiënte wijze bij een grote hoeveelheid cursisten kunnen worden verzameld. Hierdoor kan op meer systematische wijze een grotere hoeveelheid informatie over een cursusprogramma worden verzameld, dan bijvoorbeeld bij het afnemen van interviews of groepsgesprekken. Ook het analyseren van gegevens is op deze wijze eenvoudiger dan bij het verzamelen van gegevens op basis van gesprekken.
Een nadeel bij deze wijze van onderzoeken, is dat juist voor de betreffende doelgroep – namelijk mensen die willen worden bijgespijkerd in hun taal- en digitale vaardigheden – het invullen van een vragenlijst moeilijk kan zijn. Om deelname aan onderzoek ook voor deze groep zo eenvoudig mogelijk te maken, zijn de volgende maatregelen genomen:
- Vragenlijsten kunnen zowel digitaal als schriftelijk afgenomen worden (meer informatie over afname van de vragenlijsten is te vinden in de handleiding);
- Vragenlijsten zijn zo kort mogelijk gehouden;
- Vragenlijsten zijn geformuleerd in zo eenvoudig mogelijk Nederlands.
- In een validatieronde zijn de vragenlijsten niet alleen voorgelegd aan onderzoekers en bibliotheekprofessionals, maar ook aan een testpanel met Taalambassadeurs van Stichting ABC.
Desalniettemin blijft een bepaald niveau aan vaardigheden noodzakelijk om de vragenlijsten in te kunnen vullen. We adviseren dan ook om het invullen van de vragenlijsten te integreren in de cursusbijeenkomsten, zodat de cursusleider eventueel ondersteuning kan aanbieden aan mensen die moeite hebben met het invullen van de lijsten.
Deelnemen en registreren
- Wanneer kan ik instappen voor de Impactmonitor?
-
Vanaf april 2022 kun je weer meedoen met een nieuwe ronde van de Impactmonitor. Daarvoor kun je je tot en met 28 maart 2022 aanmelden.
- Wat kost deelname aan de Impactmonitor?
- Deelname aan de tijdelijke tussenoplossing van de Impactmonitor is kosteloos.
- Wat moet ik doen om in te schrijven voor de Impactmonitor?
- Bibliotheken kunnen zich aanmelden via impactmonitor@kb.nl.
- Kan ik mij als monitorcoördinator aanmelden voor meerdere basisbibliotheken?
-
Je e-mailadres en wachtwoord vormen de toegang tot de beheerportal en rapportage-omgeving van de specifieke bibliotheek. Het is niet mogelijk om met eenzelfde mailadres meerdere bibliotheken in de Impactmonitor te beheren. Wil je als monitorcoördinator deelnemen voor meerdere bibliotheken, dan kun je contact opnemen met de helpdesk.
- Welke modules moet ik kiezen?
-
Welke module(s) je kiest, hangt af van de cursussen die je met de Impactmonitor gaat meten. Richt de cursus zich op taalvaardigheden? Dan kies je de module taal. Bied je een (of meerdere) cursussen op het gebied van digitale vaardigheden? Dan kun je kijken of de vragenlijst Computer en internet tegemoetkomt aan de inhoud van de cursus. Om een goede keuze te maken over de in te zetten module, adviseren wij om vooraf goed naar de vragenlijsten te kijken. Je krijgt dan een beter beeld van wat er binnen de specifieke modules precies wordt gemeten.
- Hoeveel cursussen kan ik met de Impactmonitor meten?
-
Het aantal cursussen dat je binnen een module kunt meten is in principe onbeperkt. Wanneer je bijvoorbeeld kiest voor de module Computer en internet en over dit onderwerp verschillende cursussen aanbiedt (bijvoorbeeld Klik & Tik. De basis en Seniorweb), dan kun je elk van die cursussen meten met behulp van dezelfde vragenlijst. De onderzoeksgegevens over deze verschillende cursussen worden bij elkaar opgeteld en samengenomen bij de rapportage over de betreffende module. Het starten met onderzoek voor cursussen kan in principe het hele jaar door.
Verwerking van de onderzoeksgegevens
- Hoe wordt er omgegaan met persoonsgegevens?
-
De bibliotheken en de KB vinden het belangrijk om persoonsgegevens veilig en zorgvuldig te verwerken. Om te waarborgen dat de verwerking van persoonsgegevens in overeenstemming met de AVG is, zijn de volgende maatregelen genomen:
- Het aantal identificerende persoonsgegevens waarnaar wordt gevraagd is beperkt. In de tussenoplossing wordt helemaal niet om persoonsgegevens gevraagd.
- De gegevens worden uitsluitend in anonieme, geaggregeerde vorm, gebruikt in rapportages en zijn dus niet herleidbaar naar individuen.
- Wat gebeurt er met de gegevens van mijn bibliotheek?
-
Met de Impactmonitor faciliteert de KB een infrastructuur waarmee onderzoek in de bibliotheek kan worden uitgezet en gerapporteerd. Omdat de werving van respondenten voor het onderzoek binnen de bibliotheek gebeurt, ligt ook hier voor de bibliotheek een belangrijke taak rond de privacy van cursisten. Deze behelst vooral het adequaat informeren van cursisten over de verwerking van hun persoonsgegevens, bij aanvang van de cursus en vóór de start van het onderzoek. De bibliotheek kan hiertoe haar eigen privacyverklaring aanpassen of aanvullen.
Daarnaast is de bibliotheek zelf verantwoordelijk voor het nemen van organisatorische maatregelen om de persoonsgegevens van de deelnemers aan de cursus en de enquête te beschermen. Wees bijvoorbeeld zorgvuldig met het registreren van gegevens en houd goed toezicht op wie er toegang heeft tot de beheerportal. Zorg ook dat er accuraat wordt omgegaan met het verspreiden en versturen van de papieren vragenlijsten.
- Wat gebeurt er met de gegevens van mijn bibliotheek?
-
De Impactmonitor dient primair voor de uitvoering van effectmeting voor individuele bibliotheken. De onderzoeksgegevens zullen daarnaast ook centraal worden verzameld en geanalyseerd. Jaarlijks wordt een landelijke rapportage uitgebracht met de landelijke stand van zaken op basis van de gegevens van alle deelnemende bibliotheken. De gegevens worden zorgvuldig beheerd onder verantwoordelijkheid van de KB.
In de landelijke rapportage zullen geen uitspraken worden gedaan over individuele bibliotheken, maar worden - waar relevant - vergelijkingen gemaakt tussen bijvoorbeeld groepen bibliotheken van verschillende omvang, verschillende regio's en/of op basis van de invulling van de cursus die wordt gemeten. Het kan zijn dat Provinciale ondersteuningsinstellingen (POI’s) de KB vragen om de onderzoeksresultaten van de bibliotheken in hun werkgebied in te zien. We verstrekken die gegevens alleen met uw toestemming. Hier vragen we naar bij de registratie voor het nieuwe monitorjaar of in een apart verzoek.
Geen antwoord op je vraag gevonden?
Meer informatie vind je in de handleiding. Inhoudelijke vragen kun je stellen aan Esmée de Jager via impactmonitor@kb.nl.