Veelgestelde vragen

Inhoudsblok

Achtergrond en algemene informatie

Hoe is de Impactmonitor tot stand gekomen?

De monitor is in nauwe afstemming met het bibliotheekveld ontwikkeld. Op verschillende momenten en manieren is input verzameld voor de ontwikkelingen van de vragenlijsten en de infrastructuur:

  • Tijdens verschillende workshops zijn de behoeften en ervaringen van bibliotheken op het gebied van effectmeting opgehaald. Deze vormden het startpunt van de ontwikkeling van de monitor.
  • Een landelijke werkgroep van vertegenwoordigers uit POI’s heeft meegedacht over de opzet en inrichting van de Impactmonitor.
  • Middels kwalitatief onderzoek (interviews en groepsgesprekken) zijn ervaringen van bibliotheekbezoekers en cursusdeelnemers opgehaald die input boden bij de ontwikkeling van de vragenlijsten.
  • Een klankbordgroep bestaande uit lokale bibliotheken heeft de vragenlijsten getest en voorzien van feedback.
Wat is het voordeel van een landelijk instrument?

Met een landelijk ontwikkeld instrument wordt bibliotheken veel werk uit handen genomen bij het uitvoeren van een effectmeting. Het verzamelen en rapporteren van de onderzoeksgegevens met behulp van standaard vragenlijsten gebeurt geautomatiseerd, waardoor de bibliotheek niet zelf aan de slag hoeft met het maken en analyseren van vragenlijsten.

Doordat gegevens via een centrale infrastructuur worden verzameld, is het tevens mogelijk om op landelijk niveau uitspraken te doen over de effectiviteit en impact van bibliotheekprogramma’s binnen het domein van de basisvaardigheden.

Hoe sluiten gestandaardiseerde instrumenten aan op mijn lokale situatie?

De Impactmonitor is in eerste instantie bedoeld om bibliotheken lokaal te voorzien van waardevolle informatie over hun educatieve en maatschappelijke dienstverlening. De vragenlijsten in de Impactmonitor zijn dan ook zodanig opgesteld dat deze voor de meeste lokale bibliotheekprogramma’s op de betreffende thema’s goed in te zetten zijn. Hoewel doelgroep en invulling van een programma kunnen verschillen, zijn veel elementen en effecten van programma’s van vergelijkbare aard. Dit blijkt ook uit de landelijke Bibliotheekmonitor-onderzoeken die jaarlijks worden uitgevoerd om de dienstverlening van bibliotheken te monitoren.

Bijkomend voordeel van het werken met standaard vragenlijsten en een landelijke portal is dat resultaten op geaggregeerd niveau kunnen worden verzameld en geanalyseerd. De mogelijkheid om hierbij verschillende programma’s en verschillende werkwijzen te vergelijken, geeft inzicht in wat werkt en wat niet. Dit is ook de reden dat deelnemende bibliotheken voor het analyseren van de landelijke data wordt gevraagd om de belangrijke kenmerken van de programma’s die zijn gemeten door te geven in een korte vragenlijst.

Wat voor diensten en activiteiten kan ik meten met de Impactmonitor?

De Impactmonitor meet de vorderingen die deelnemers aan cursussen maken in de bibliotheek. Dit zijn cursussen op het gebied van: (1) computer & internet; (2) social media; (3) e-overheid en (4) de Nederlandse taal. Veelvoorkomende cursussen zijn bijvoorbeeld de cursussen van Klik & Tik, Digisterker en Lees en Schrijf!, maar ook andere cursussen op deze gebieden kunnen met de Impactmonitor worden gemeten. Een overzicht van cursussen waarvoor de verschillende modules kunnen worden ingezet, is te vinden in de handleiding. Je kunt daarnaast ook zelf cursussen toevoegen die niet in de lijst staan.

De monitor is ontwikkeld om cursussen en trainingen met meerdere bijeenkomsten te meten. Vanwege het langduriger karakter van deze cursussen is hierbij naar verwachting een beter waarneembaar effect te meten dan bijvoorbeeld een (eenmalig) bezoek aan een bijeenkomst, informatiebalie of spreekuur. In het geval van de module Taal is het vanaf 2021 wel alleen mogelijk een eindmeting uit te voeren, omdat het hierbij vaak om een eenmalige actie gaat.

In een later stadium zullen aan de Impactmonitor ook andere modules worden toegevoegd die de opbrengsten meetbaar maken van bibliotheekprogramma’s gericht op andere aandachtgebieden en beleidsdomeinen.

Wat is het resultaat uit de monitor?

Via de beheerportal hebben bibliotheken toegang tot een rapportageomgeving waar zij op elk gewenst moment de resultaten uit hun eigen metingen (basisbibliotheek of vestiging) kunnen uitdraaien. Resultaten van de eigen bibliotheek kunnen hier ook vergeleken worden met het landelijk gemiddelde van alle deelnemende bibliotheken of data uit voorafgaande jaren. De resultaten worden weergegeven in grafieken en tabellen, waarbij verschillende selecties of filtermogelijkheden worden aangeboden. Een toelichting op onderzoeksbevindingen vind je in de landelijke rapportage die aan het eind van het onderzoeksjaar wordt opgemaakt en gepubliceerd.

 

Is de Impactmonitor verplicht?

De Impactmonitor is niet verplicht. Wel biedt de monitor waardevolle inzichten in de impact van jouw bibliotheek, die je kunt gebruiken in het gesprek met stakeholders en andere partijen.

 

Hoe verhoudt de Impactmonitor zich tot andere initiatieven?

We begrijpen dat het voor bibliotheken niet altijd makkelijk is om een keus te maken welk instrument voor welk doel in te zetten. Om bibliotheken daarbij te helpen, hebben we samen met onze partners Het Begint met Taal en Maurice de Greef dit document opgesteld. Het betreft een inventarisatie van landelijk beschikbare instrumenten die ingezet kunnen worden ten behoeve van het monitoren, registreren en koppelen van cursisten op het gebied van taal, rekenen, digitale vaardigheden en inburgering. Doel is dat bibliotheken met dit document een welbewuste keuze kunnen maken welk systeem te gebruiken. In de toekomst en doorontwikkeling van de verschillende instrumenten zullen we ook nauw samenwerken en afstemmen met deze partners om overlap en/of dubbel werk te voorkomen.

Inhoud van de vragenlijsten

Wat voor effecten meet de Impactmonitor?

De Impactmonitor is primair gericht op het zichtbaar maken van de opbrengsten van cursussen binnen de genoemde domeinen. Ook wordt gevraagd naar de motivatie van cursisten (nulmeting) en hun oordeel (nameting) over de cursus in de bibliotheek.

De effecten die worden gemeten, zijn onder te brengen in drie typen, waarbij wordt gekeken naar de verandering die optreedt tussen de start en afronding van de cursus:

  • Niveau van kennis en vaardigheden: wat weet en kan men al op een bepaald gebied?
  • Gedrag: in hoeverre is men actief op dit gebied in het dagelijks leven?
  • Attitude: hoe kijkt men tegen een bepaald onderwerp aan?

Daarnaast wordt respondenten (in de nameting) middels stellingen gevraagd naar de mate waarin men positieve opbrengsten van de cursus ervaart in het dagelijks leven.

Welke cursussen kan ik met de Impactmonitor meten?

De Impactmonitor meet de vorderingen die deelnemers aan cursussen maken in de bibliotheek. Dit zijn cursussen op het gebied van (1) computer & internet; (2) social media; (3) e-overheid; en (4) de Nederlandse taal. Veelvoorkomende cursussen zijn bijvoorbeeld de cursussen van Klik & Tik, Digisterker en Lees en Schrijf!, maar ook andere cursussen op deze gebieden kunnen met de Impactmonitor worden gemeten. Een overzicht van cursussen waarvoor de verschillende modules kunnen worden ingezet, is te vinden in de handleiding. Wanneer je in de beheerportal een module hebt gekozen, vind je de lijst met cursussen voor die betreffende module onder het tabblad ‘Cursussen’.

Zijn vragenlijsten niet te moeilijk voor de doelgroep?

De Impactmonitor maakt gebruik van vragenlijsten om de effecten van en tevredenheid over programma’s meetbaar te maken. Het voordeel van vragenlijsten is dat gegevens gedurende het hele cursusjaar op eenvoudige en efficiënte wijze bij een grote hoeveelheid cursisten kunnen worden verzameld. Hierdoor kan op meer systematische wijze een grotere hoeveelheid informatie over een cursusprogramma worden verzameld, dan bijvoorbeeld bij het afnemen van interviews of groepsgesprekken. Ook het analyseren van gegevens is op deze wijze eenvoudiger dan bij het verzamelen van gegevens op basis van gesprekken.

Een nadeel bij deze wijze van onderzoeken, is dat juist voor de betreffende doelgroep – namelijk mensen die willen worden bijgespijkerd in hun taal- en digitale vaardigheden – het invullen van een vragenlijst moeilijk kan zijn. Om deelname aan onderzoek ook voor deze groep zo eenvoudig mogelijk te maken, zijn de volgende maatregelen genomen:

  • Vragenlijsten kunnen zowel digitaal als schriftelijk afgenomen worden (meer informatie over afname van de vragenlijsten is te vinden in de handleiding);
  • Vragenlijsten zijn zo kort mogelijk gehouden;
  • Vragenlijsten zijn geformuleerd in zo eenvoudig mogelijk Nederlands.
  • In een validatieronde zijn de vragenlijsten niet alleen voorgelegd aan onderzoekers en bibliotheekprofessionals, maar ook aan een testpanel met Taalambassadeurs van Stichting ABC.

Desalniettemin blijft een bepaald niveau aan vaardigheden noodzakelijk om de vragenlijsten in te kunnen vullen. We adviseren dan ook om het invullen van de vragenlijsten (zeker de voormeting) te integreren in de cursusbijeenkomsten, zodat de cursusleider eventueel ondersteuning kan aanbieden aan mensen die moeite hebben met het invullen van de lijsten.

Deelnemen en registreren

Wanneer kan ik instappen voor de Impactmonitor?

Vanaf 1 april 2021 kun je weer meedoen met een nieuwe ronde van de Impactmonitor. Daarvoor kun je je tot en met 15 maart 2021 aanmelden.

Wat kost deelname aan de Impactmonitor?
De eerste twee modules zijn kosteloos; elke extra module kost € 227,00 per bibliotheekorganisatie. Dit bedrag is inclusief btw en toegang tot de beheer- en rapportageportal. Hiermee kun je het hele jaar door onbeperkt effectonderzoek uitvoeren en rapporteren. Daarnaast heb je altijd toegang tot ondersteuning van de helpdesk. Facturatie voor deelname aan de Impactmonitor gebeurt vooraf. Na inschrijving ontvang je dus meteen een factuur.
Wat moet ik doen om in te schrijven voor de Impactmonitor?
Bibliotheken kunnen zich tot en met 15 maart aanmelden aan via deze link. Zij kunnen vanaf 1 april beginnen met het meten van de impact van cursussen in hun bibliotheek. Instappen kan alleen nu, niet later in het jaar. Ook bibliotheken die eerder hebben deelgenomen aan de Impactmonitor dienen zich opnieuw aan te melden. Bij opnieuw aanmelden worden de bestaande gebruikersaccounts gereactiveerd en blijven de onderzoeksdata uit 2019 en 2020 beschikbaar in het rapportageportal.
Kan ik mij als monitorcoördinator aanmelden voor meerdere basisbibliotheken?

Je e-mailadres en wachtwoord vormen de toegang tot de beheerportal en rapportage-omgeving van de specifieke bibliotheek. Het is niet mogelijk om met eenzelfde mailadres meerdere bibliotheken in de Impactmonitor te beheren. Wil je als monitorcoördinator deelnemen voor meerdere bibliotheken, dan kun je contact opnemen met de helpdesk.

Welke modules moet ik kiezen?

Om deelname aan de monitor te starten, moet je eerst aangeven welke module(s) je wilt gaan inzetten. Welke module(s) je kiest, hangt af van de cursussen die je met de Impactmonitor gaat meten. Richt de cursus zich op taalvaardigheden? Dan kies je de module taal. Bied je een (of meerdere) cursussen op het gebied van digitale vaardigheden? Dan kun je kijken of de vragenlijst Computer en internet of Social media het beste tegemoetkomt aan de inhoud van de cursus. Om een goede keuze te maken over de in te zetten module, adviseren wij om vooraf goed naar de vragenlijsten te kijken. Je krijgt dan een beter beeld van wat er binnen de specifieke modules precies wordt gemeten.

Hoeveel cursussen kan ik met de Impactmonitor meten?

Het aantal cursussen dat je binnen een module kunt meten is in principe onbeperkt. Wanneer je bijvoorbeeld kiest voor de module Computer en internet en over dit onderwerp verschillende cursussen aanbiedt (bijvoorbeeld Klik & Tik. De basis en Seniorweb), dan kun je elk van die cursussen meten met behulp van dezelfde voor- en nameting. De onderzoeksgegevens over deze verschillende cursussen worden bij elkaar opgeteld en samengenomen bij de rapportage over de betreffende module.

Het toevoegen van cursussen en starten met onderzoek voor die cursussen kan in principe het hele jaar door, mits die cursussen betrekking hebben op de modules waaraan je al deelneemt.

Verwerking van de onderzoeksgegevens

Hoe wordt er omgegaan met persoonsgegevens?

De bibliotheken en de KB vinden het belangrijk om persoonsgegevens veilig en zorgvuldig te verwerken. Om te waarborgen dat de verwerking van persoonsgegevens in overeenstemming met de AVG is, zijn de volgende maatregelen genomen:

  • Het aantal identificerende persoonsgegevens waarnaar wordt gevraagd is beperkt. In de beheerportal vragen we alleen die gegevens die strikt noodzakelijk zijn om vragenlijsten te kunnen versturen en om de voor- en nametingen van cursisten aan elkaar te kunnen koppelen voor statistisch onderzoek, op geaggregeerd niveau (naam, telefoonnummer, e-mailadres).
  • Deze identificerende persoonsgegevens worden opgeslagen in een veilige omgeving bij DESAN Research Solutions. DESAN is zowel ISO 20252 (kwaliteit onderzoek) als ISO 27001 (databeveiliging) gecertificeerd. DESAN hanteert de richtlijnen van MOA en ESOMAR.
  • De beheeromgeving is uitsluitend toegankelijk voor bibliotheekmedewerkers van de betreffende bibliotheek die vanuit hun functie met de Impactmonitor werken, en voor bij de Impactmonitor betrokken medewerkers van DESAN.
  • De identificerende gegevens worden niet gebruikt in rapportages en worden vernietigd 12 maanden na het jaar waarin de verwerking plaatsvond.
  • Persoonsgegevens worden uitsluitend in anonieme, geaggregeerde vorm, gebruikt in rapportages en zijn dus niet herleidbaar naar individuen. De cursist is bovendien niet verplicht deze gegevens in te vullen.
Wat moet de bibliotheek doen om privacy te waarborgen?

Met de Impactmonitor faciliteert de KB een infrastructuur waarmee onderzoek in de bibliotheek kan worden uitgezet en gerapporteerd. Omdat de werving van respondenten voor het onderzoek binnen de bibliotheek gebeurt, ligt ook hier voor de bibliotheek een belangrijke taak rond de privacy van cursisten. Deze behelst vooral het adequaat informeren van cursisten over de verwerking van hun persoonsgegevens, bij aanvang van de cursus en vóór de start van het onderzoek. De bibliotheek kan hiertoe haar eigen privacyverklaring aanpassen of aanvullen.

Daarnaast is de bibliotheek zelf verantwoordelijk voor het nemen van organisatorische maatregelen om de persoonsgegevens van de deelnemers aan de cursus en de enquête te beschermen. Wees bijvoorbeeld zorgvuldig met het registreren van gegevens en houd goed toezicht op wie er toegang heeft tot de beheerportal. Zorg ook dat er accuraat wordt omgegaan met het verspreiden en versturen van de papieren vragenlijsten.

Wat gebeurt er met de gegevens van mijn bibliotheek?

De Impactmonitor dient primair voor de uitvoering van effectmeting voor individuele bibliotheken. De onderzoeksgegevens zullen daarnaast ook centraal worden verzameld en geanalyseerd. Jaarlijks wordt een landelijke rapportage uitgebracht met de landelijke stand van zaken op basis van de gegevens van alle deelnemende bibliotheken. De gegevens worden zorgvuldig beheerd onder verantwoordelijkheid van de KB.

In de landelijke rapportage zullen geen uitspraken worden gedaan over individuele bibliotheken, maar worden - waar relevant - vergelijkingen gemaakt tussen bijvoorbeeld groepen bibliotheken van verschillende omvang, verschillende regio's en/of op basis van de invulling van de cursus die wordt gemeten. Het kan zijn dat Provinciale ondersteuningsinstellingen (POI’s) de KB vragen om de onderzoeksresultaten van de bibliotheken in hun werkgebied in te zien. We verstrekken die gegevens alleen met uw toestemming. Hier vragen we naar bij de registratie voor het nieuwe monitorjaar of in een apart verzoek.

Geen antwoord op je vraag gevonden?

Meer informatie vind je in de handleiding. Inhoudelijke vragen kun je stellen aan Laura Freling via impactmonitor@kb.nl.
Voor vragen over registreren, werkwijze en techniek kun je mailen naar helpdesk@effectenmonitorkb.nl of bel 020 52 07 145.