Impactmonitor
Om bibliotheken te ondersteunen bij het verkrijgen van zo’n evidence base ontwikkelde de KB in 2019 de Impactmonitor: een verzameling onderzoeksinstrumenten waarmee bibliotheken de effecten van cursussen in hun vestigingen kunnen meten. Met deze monitor konden bibliotheken standaard vragenlijsten – digitaal of in print – voorleggen aan de deelnemers aan bibliotheekcursussen op het gebied van computer, internet en e-overheid. Door dit zowel bij aanvang als na afronding van de cursus te doen, is het mogelijk om inzichtelijk te maken in hoeverre cursisten verbeteringen ervaren in hun vaardighedenniveau en positieve verandering in hun dagelijks leven. Door de onderzoeksdata van alle deelnemende basisbibliotheken bij elkaar te nemen voor analyse, kunnen we op stelselniveau inzicht krijgen in de effectiviteit van landelijke basisvaardighedenprogramma’s als Klik & Tik en Digisterker. Vanaf 2023 is de Impactmonitor opgenomen in de Bibliotheekmonitor en kan ook de impact van andere cursussen en bijvoorbeeld de IDO's worden gemeten. Hieronder worden de resultaten van de Impactmonitor tussen 2019 en 2022 beschreven.
Deelname Impactmonitor
Van alle 145 basisbibliotheken in Nederland voerden er 105 (72%) tussen 2019 en 2022 onderzoek uit onder hun cursisten via de Impactmonitor. Daarvan deden er 82 onderzoek naar Klik & Tik-cursussen en 88 naar Digisterker-cursussen. Slechts 35 bibliotheken voerden het onderzoek uit voor andere dan de landelijk aangeboden cursussen. In de periode tussen 2019 en 2022 werden in totaal bijna 9.000 cursisten uitgenodigd om de meting in te vullen. Op basis van deze informatie kunnen we een goed algemeen beeld schetsen van het vaardighedenniveau van cursisten voor en na het volgen van de cursus, hun motivatie om deel te nemen en hun ervaren opbrengsten. Voor de groep cursisten die zowel voor- als nameting invulden (4.520), kunnen we ook zien welke ontwikkeling zij hebben doorgemaakt tijdens de duur van de cursus.
Motivatie voor deelname
Deelnemers aan computer- en internetcursussen (overwegend Klik & Tik) en aan een e-overheidscursus (overwegend Digisterker) hebben over het algemeen dezelfde redenen om aan de cursus deel te nemen: men wil vooral zonder hulp kunnen werken met de computer en/of e-overheid (respectievelijk 79% en 77%) of wil de cursus volgen voor thuis (grofweg 50%). Een groep van circa 15% geeft aan de cursus zijn te gaan volgen omdat het werd aangeraden. De groep mensen die de cursus nodig heeft voor zijn werk of voor het vinden van werk is nog kleiner. De belangrijkste bron van informatie over of kennismaking met de specifieke cursus is de bibliotheek, maar ook via vrienden of bekenden, via de krant of via een folder of huis-aan-huisblaadje worden mensen geattendeerd op de cursus in de bibliotheek. Opvallend is dat de groep mensen die binnen de bibliotheek zelf op de specifieke cursus geattendeerd wordt, groter is onder cursisten e-overheid dan bij computer- en internetcursussen (43% versus 32%). Vermoedelijk heeft dat te maken met het feit dat de bibliotheek Digisterker vaak aanbiedt als vervolg op een basiscursus computer & internet.
Instapniveau
Om te onderzoeken welke ontwikkeling cursisten tussen het begin en de afronding van de cursus doormaken, is het natuurlijk belangrijk om te weten met welk niveau zij instappen. Dit is onderzocht door cursisten van beide cursussen te vragen in een lijst van vrij algemene digitale activiteiten aan te geven welke hiervan zij al zelfstandig kunnen doen. De bevindingen laten zien dat deelnemers vooraf vaak al zelfstandig online nieuwsberichten lezen, contact hebben met anderen, foto’s of filmpjes kijken en bankzaken regelen (>45%). Veel minder vaak geeft men aan met de computer werk te zoeken, documenten te downloaden en versturen, bestanden op te slaan, producten te kopen en zelf foto’s of filmpjes te delen. In het niveau van digitale vaardigheden bij aanvang van de cursus zijn wel duidelijke verschillen te zien tussen de cursisten Klik & Tik en de cursisten Digisterker. De tweede groep heeft een beduidend hoger instapniveau dan de eerste. Zij gebruiken vaker al verschillende apparaten en weten op de computer en het internet al beter hun weg te vinden.
Ontwikkeling van gedrag en vaardigheden
Om te zien welke ontwikkeling cursisten doormaken gedurende de periode dat zij de cursus hebben gevolgd, vergelijken we het vooraf gerapporteerde instapniveau met wat men na afronding van de cursus zegt te kunnen, weten en doen. We vroegen naar algemene vaardigheden en specifieke vaardigheden die in de betreffende cursus veelal centraalstaan. De resultaten over Klik & Tik laten zien dat voor bijna alle vaardigheden geldt dat de groep mensen die deze kan toepassen na de cursus groter is dan ervoor. De stijging is het sterkst bij informatie zoeken op een website (18%), aanmelden met naam en wachtwoord (16%), typen (16%), informatie zoeken met een zoekmachine (15%), teksten typen (15%) het zoeken van informatie over cursussen, opleidingen, hobby of sport (15%) en foto’s of filmpjes kijken (11%). De cursus lijkt minder invloed te hebben op het spelen van spelletjes, het regelen van bankzaken en het zoeken van werk (<5%).
Ook bij de cursisten van Digisterker zien we een significante toename in het vaardighedenniveau tussen start en afronding van de cursus. Ook hier is de stijging met name betekenisvol voor de vaardigheden die te maken hebben met de onderwerpen die tijdens de cursus aan bod komen. De stijging is het grootst bij het inloggen met DigiD (30%), het zoeken van informatie van de gemeente, het UWV, de belastingdienst etc. (19%) en het lezen van berichten in de mijnoverheid.nl berichtenbox (17%). Bij de andere, meer algemene digitale vaardigheden is de toename van het aantal mensen dat deze toepast veel kleiner.
Op basis van de vergelijking van vaardighedenniveaus voor en na afronding van de cursus kunnen we voorzichtig concluderen dat deelnemers van beide cursussen worden gestimuleerd en ondersteund om de computer en het internet meer in te zetten voor het regelen van zaken in het dagelijks leven. Na afloop van de cursus kunnen zij meer (zelfstandig) op de computer en het internet dan voor de start.
Meer zelfvertrouwen
Hoe ervaren cursisten zelf de stappen die zij maken tijdens de cursus? Wat voor gevoel levert dit hen op? Om daarachter te komen, is niet alleen gevraagd naar hun vaardigheden, maar ook naar hun attitude jegens de computer, het internet en de e-overheid. Ook hierin zien we een overwegend positief beeld. Veel cursisten geven niet alleen aan op de computer beter hun weg te kunnen vinden, maar ervaren hierbij ook meer plezier en zelfvertrouwen. Voor beide typen cursussen geldt dat veel mensen na afloop van de cursus het gebruik van computer, internet en/of e-overheid leuker vinden; zich veiliger voelen bij het gebruik ervan; minder vaak hulp nodig hebben; minder vaak stress ervaren en minder vaak bang zijn om iets verkeerd te doen. Wordt cursisten na afloop van de cursus gevraagd naar de opbrengsten die zij zelf ervaren als gevolg van de cursus in de bibliotheek, dan lijkt men over het algemeen nog positiever dan de eerdere bevindingen doen verwachten. Hoewel de stappen die cursisten maken in hun vaardigheden lang niet altijd heel groot zijn, lijken die er wel toe te leiden dat deelnemers zelf vinden dat zij hierdoor beter kunnen meedoen in de samenleving. Cursisten geven aan zich veiliger te voelen op de computer ne het internet en minder afhankelijk te zijn van hulp van anderen. Bovendien lijkt de cursus aan te zetten tot meer oefenen, doorgaan met leren en een hoger vaker gebruik van de bibliotheek.
Kritisch blijven
Hoewel op basis van de bevindingen van dit onderzoek over het algemeen een overwegend positief beeld naar voren komt, blijft het raadzaam om te waken voor overhaaste conclusies en cherry picking. De zoektocht naar een positief effect en de bevestiging van vermoedens over de impact van programma’s brengt het risico met zich mee dat vooral naar positieve bevindingen wordt gekeken en kritische reflectie uitblijft. De resultaten laten weliswaar zien dat een betekenisvolle groep cursisten positieve stappen maakt in zelfredzaamheid en zelfvertrouwen, maar wie kritisch kijkt, ziet ook dat op alle dimensies van vaardigheden en attitude sprake is van een eveneens betekenisvolle groep die ook na het volgen van de cursus nog niet lijkt te kunnen meekomen. Wie is die groep mensen en wat maakt dat zij maar weinig stappen kunnen maken op het vlak van digitale vaardigheden? Ligt het aan hun eigen capaciteit of heeft het te maken met de manier waarop de cursus wordt aangeboden? Het antwoord op die vragen moet duidelijker worden als we dieper in de onderzoeksdata duiken. Daarnaast blijft het bij elk onderzoek belangrijk om stil te staan bij de voor- en nadelen van een gekozen onderzoeksmethode. Voor de Impactmonitor wordt gebruikgemaakt van gestandaardiseerde enquêtes die in een voor- en nameting aan de cursist worden voorgelegd. Die methode maakt het mogelijk op systematische wijze informatie te verzamelen onder een grote groep respondenten. De mogelijkheid om de vragenlijst in print voor te leggen, biedt het voordeel dat ook cursisten die nog niet met een computer overweg kunnen, mee kunnen doen aan het onderzoek. Maar er zijn ook nadelen. Zo is het vanwege de gekozen meetmomenten - voor en direct na afloop van de cursus - niet mogelijk om te kijken of het effect van de cursus na verloop van tijd niet uitdooft. Daarnaast wordt in het onderzoek niet gekeken naar mogelijke andere factoren die van invloed kunnen zijn op de attitude en het vaardighedenniveau van cursisten. Het gevolg is dat we niet met volledige zekerheid kunnen zeggen dat de gevonden effecten ook daadwerkelijk door de cursus in de bibliotheek tot stand zijn gekomen. Desalniettemin bieden de resultaten uit het grootschalig onderzoek met de Impactmonitor een sterke aanwijzing voor een positieve impact van digivaardigheidscursussen in de bibliotheek.