Informatie voor het bibliotheeknetwerk

Impactmonitor

  1. Onderzoeksmethode

Vragenlijsten en deelname

Vragenlijsten

De Impactmonitor maakt gebruik van gestandaardiseerde vragenlijsten om de effecten van en tevredenheid over programma’s meetbaar te maken. Het voordeel van vragenlijsten is dat gegevens gedurende het hele cursusjaar op eenvoudige en efficiënte wijze bij een grote hoeveelheid cursisten kunnen worden verzameld. Hierdoor kan op meer systematische wijze een grotere hoeveelheid informatie over een cursusprogramma worden verzameld dan bijvoorbeeld bij het afnemen van interviews of groepsgesprekken. Ook het analyseren van gegevens is op deze wijze eenvoudiger dan bij het verzamelen van gegevens op basis van gesprekken. De vragenlijsten zijn in nauwe afstemming met het bibliotheekveld ontwikkeld. Ze zijn te vinden in de bijlagen. Vanaf 2023 zijn deze vragenlijsten aangescherpt en ingekort.

Elke onderzoeksmodule heeft dezelfde opbouw en kent een nul- en een eindmeting. De nulmeting  wordt door de cursist ingevuld voor aanvang van de cursus. De nameting vult hij of zij in na afronding van de cursus. 

Op verschillende momenten en manieren is input verzameld voor de ontwikkeling van de vragenlijsten en de infrastructuur: 

  • Tijdens verschillende workshops zijn de behoeften en ervaringen van bibliotheken op het gebied van effectmeting opgehaald. Deze vormden het startpunt van de ontwikkeling van de monitor.
  • Een landelijke werkgroep van vertegenwoordigers uit POI’s heeft meegedacht over de opzet en inrichting van de Impactmonitor. 
  • Middels kwalitatief onderzoek (interviews en groepsgesprekken) zijn ervaringen van bibliotheekbezoekers en cursusdeelnemers opgehaald die input boden bij de ontwikkeling van de vragenlijsten.
  • Een klankbordgroep bestaande uit lokale bibliotheken heeft de vragenlijsten getest en voorzien van feedback.

De Impactmonitor kan ingezet worden voor het meten van diverse cursussen op drie belangrijke domeinen van basisvaardigheden: taal, digitaal en E-overheid. Bibliotheken bieden binnen deze domeinen een breed scala aan cursussen en activiteiten. De vragenlijsten zijn zo opgebouwd, dat ze zo veel mogelijk inzetbaar zouden moeten zijn voor de meeste van die cursussen.

Effecten

De effecten die worden gemeten, zijn onder te brengen in drie typen, waarbij wordt gekeken naar de verandering die optreedt tussen de start en afronding van de cursus:

  • Niveau van kennis & vaardigheden: wat geeft men aan zelf al te weten en kunnen op een bepaald vaardighedendomein?
  • Gedrag: in hoeverre is men actief op dit gebied in het dagelijks leven, wat doet men bijvoorbeeld al op de computer en het internet?
  • Attitude: hoe kijkt men tegen een bepaald onderwerp aan en wat voor gevoel heeft men t.a.v. een bepaald onderwerp?

Daarnaast wordt cursisten in de nulmeting gevraagd naar hun motivatie om de cursus te volgen. Aanvullend wordt respondenten (in de nameting) middels stellingen gevraagd naar de mate waarin men positieve opbrengsten van de cursus ervaart in het dagelijks leven. In de nameting wordt de cursist gevraagd naar de tevredenheid over de cursus, het materiaal en de cursusleider. Om eventuele verschillen tussen groepen deelnemers te kunnen identificeren, wordt tevens gevraagd naar een aantal sociaal-demografische kenmerken van de respondenten (geslacht, leeftijd, hoogst afgeronde opleiding, het hebben van betaald werk, moedertaal).

Doelgroep

Bij de ontwikkeling van de vragenlijsten is rekening gehouden met de doelgroep: mensen die willen worden bijgespijkerd in hun taal- en digitale vaardigheden en voor wie het invullen van een vragenlijst moeilijk kan zijn. Om deelname aan onderzoek ook voor deze groep zo eenvoudig mogelijk te maken, zijn de volgende maatregelen genomen: 

  • Vragenlijsten kunnen zowel digitaal als schriftelijk worden ingevuld. Data uit de online vragenlijsten worden automatisch opgeslagen, schriftelijke vragenlijsten worden opgestuurd naar en verwerkt door onderzoeksbureau DESAN. 
  • Vragenlijsten zijn zo kort mogelijk gehouden. 
  • Vragenlijsten zijn geformuleerd in zo eenvoudig mogelijk Nederlands.

In een validatieronde zijn de vragenlijsten niet alleen voorgelegd aan onderzoekers en bibliotheekprofessionals, maar ook aan een testpanel met Taalambassadeurs van Stichting ABC. Zij hebben de lijsten doorgelopen en becommentarieerd op leesbaarheid en begrijpelijkheid. Op basis van deze input zijn verschillende aanpassingen aangebracht.

Deelname aan de Impactmonitor

Van de 145 basisbibliotheken in Nederland namen 105 bibliotheken (72%) deel aan de Impactmonitor in de jaren 2019 tot en met 2022. Dat wil zeggen dat er voor deze bibliotheken minimaal een vragenlijst is ingevuld door cursisten.

Het percentage basisbibliotheken dat heeft deelgenomen aan de Impactmonitor is het hoogst onder grote basisbibliotheken met een werkgebied met meer dan 200.000 inwoners (81%) en het laagst onder kleine basisbibliotheken met een werkgebied met minder dan 50.000 inwoners (50%) (Grafiek 1). 

In Friesland, Groningen en Flevoland hebben alle basisbibliotheken deelgenomen aan de Impactmonitor, maar in deze provincies zijn maximaal vijf basisbibliotheken en deze basisbibliotheken hebben over het algemeen een groot werkgebied. Bij de provincies met meer dan vijf basisbibliotheken is de deelname in Gelderland (90%) en Noord-Brabant (78%) het hoogst (Grafiek 2). 

Deelname cursussen

Uit het overzicht van cursussen dat wordt gemeten, blijkt dat vooral de landelijk ingekochte cursussen Klik & Tik en Digisterker veel aandacht krijgen binnen de bibliotheek en dus ook binnen de Impactmonitor. Dit sluit aan bij de bevindingen uit de Bibliotheekmonitor waaruit blijkt dat in 2022 96% van de bibliotheekorganisaties Klik & Tik aanbood; 88% van de bibliotheken biedt Digisterker-cursussen aan (Klaren & van Geest, 2023). Van de 105 basisbibliotheken die deelnamen aan de Impactmonitor hebben 82 de impact van Klik & Tik cursussen gemeten (Tabel 1). Ook de cursus Digisterker wordt in veel bibliotheken aangeboden. Van de 105 basisbibliotheken hebben 88 de impact van Digisterker-cursussen gemeten, die valt onder de module E-overheid (Tabel 1).

35 bibliotheken maten het effect van een andere digivaardigheidscursus dan Klik & Tik en Digisterker. In dit rapport is ervoor gekozen om de resultaten voor Klik & Tik cursussen, Digisterker en overige cursussen weer te geven per module. 

In totaal werd door 8.794 cursisten een vragenlijst uit de Impactmonitor ingevuld voor de module Computer & Internet en module E-overheid. Voor de module Computer & Internet werden in totaal door 5.659 cursisten een vragenlijst ingevuld. Daarvan werden er 4.443 schriftelijk ingevuld en 1.216 online. Er werden door 3.135 cursisten E-overheid vragenlijsten ingevuld; 1.743 daarvan werden schriftelijk ingevuld en de rest, 1.392, online.

Tabel 1: Soorten cursussen waarvoor impact is gemeten

Soort cursus Aantal bibliotheken Aantal cursisten
Computer en internet: Klik en Tik-cursussen 82 5.072
E-overheid: Digisterker-cursussen 88 3.045
Andere Computer en internet-cursussen 25 550
Andere E-overheid-cursussen 10 127
Totaal   8.794

In 2019 werden 2.176 vragenlijsten ingevuld, in 2020 1.844, in 2021 1.688 en in 2022 3.086. We zien dus een daling na 2019; deze daling kan wellicht verklaard worden door de opkomst van Covid waardoor het aantal georganiseerde cursussen en activiteiten dat jaar veel lager lag dan normaliter. Al zien we in 2022 juist het hoogste aantal ingevulde vragenlijsten, terwijl het eerste deel van dat jaar ook een lockdown van kracht was. 

Voor de module Computer & Internet vulden 5.345 cursisten een 0-meting, 2.787 cursisten een 1-meting en 2.470 cursisten beide metingen in. Voor de module E-overheid vulden 2.916 cursisten de 0-meting in en 2.269 cursisten de 1-meting vragenlijst; 2.050 cursisten vulden zowel de 0-meting als de 1-meting in.

In beide modules wordt de 0-meting een stuk vaker ingevuld dan de 1-meting. Dat het aantal ingevulde vragenlijsten bij de nameting veel lager is dan bij de voormeting heeft twee redenen: enerzijds komt het voor dat bibliotheken het nalaten om cursisten na afronding van de cursus de nameting in te laten vullen. Anderzijds gebeurt het ook dat bibliotheken de nameting wel toesturen, maar dat deze niet wordt ingevuld door de cursist. Vaak wordt er dus maar half deelgenomen aan het onderzoek, wat het moeilijk maakt om een goede vergelijking te maken tussen begin en afronding van de cursus. 

Tabel 2 Respons

  Module Computer & Internet Module E-overheid
0-meting ingevuld 5.345 2.916
1-meting ingevuld 2.787 2.269
Zowel 0-meting als 1-meting ingevuld 2.470 2.050