Impactmonitor
Om bibliotheken te ondersteunen bij het verkrijgen van zo’n evidence base ontwikkelde de KB in 2019 de Impactmonitor: een verzameling onderzoeksinstrumenten waarmee bibliotheken de effecten van cursussen in hun vestigingen kunnen meten. Met deze monitor kunnen bibliotheken standaard vragenlijsten – digitaal of in print – voorleggen aan de deelnemers aan bibliotheekcursussen op het gebied van computer, internet en e-overheid. Door dit zowel bij aanvang als na afronding van de cursus te doen, is het mogelijk om inzichtelijk te maken in hoeverre cursisten verbeteringen ervaren in hun vaardighedenniveau en positieve verandering in hun dagelijks leven. Door de onderzoeksdata van alle deelnemende basisbibliotheken bij elkaar te nemen voor analyse, kunnen we op stelselniveau inzicht krijgen in de effectiviteit van landelijke basisvaardighedenprogramma’s als Klik & Tik en Digisterker.
Deelname
Van alle 142 basisbibliotheken in Nederland voerden er 92 (65%) onderzoek uit onder hun cursisten via de Impactmonitor. Daarvan deden er 75 onderzoek naar Klik & Tik-cursussen en 81 naar Digisterker-cursussen. Slechts 20 bibliotheken voerden het onderzoek uit voor andere dan de landelijk aangeboden cursussen. In de periode mei 2019 tot augustus 2020 werden door de deelnemende bibliotheken in totaal ruim vierduizend cursisten uitgenodigd om de nulmeting in te vullen; ongeveer drieduizend cursisten werden uitgenodigd voor de nameting. De voormeting werd ingevuld door 72% van de uitgenodigde cursisten, de nameting door slechts 59%. In totaal werden bijna vijfduizend vragenlijsten ingevuld. Op basis van deze informatie kunnen we een goed algemeen beeld schetsen van het vaardighedenniveau van cursisten voor en na het volgen van de cursus, hun motivatie om deel te nemen en hun ervaren opbrengsten. Voor de groep cursisten die zowel voor- als nameting invulden (1586), kunnen we ook zien welke ontwikkeling zij hebben doorgemaakt tijdens de duur van de cursus.
Motivatie voor deelname
Deelnemers aan computer- en internetcursussen (overwegend Klik & Tik) en aan een e-overheidscursus (overwegend Digisterker) hebben over het algemeen dezelfde redenen om aan de cursus deel te nemen: men wil vooral zonder hulp kunnen werken met de computer en/of e-overheid (77%), in het bijzonder in de thuissituatie. Een groep van circa 15% geeft aan de cursus zijn te gaan volgen omdat het werd aangeraden. De groep mensen die de cursus nodig heeft voor zijn werk of voor het vinden van werk is nog kleiner. De belangrijkste bron van informatie over of kennismaking met de specifieke cursus is de bibliotheek, maar ook via vrienden of bekenden, via de krant of via een folder of huis-aan-huisblaadje worden mensen geattendeerd op de cursus in de bibliotheek. Opvallend is dat de groep mensen die binnen de bibliotheek zelf op de specifieke cursus geattendeerd wordt, groter is onder cursisten e-overheid dan bij computer- en internetcursussen (40% versus 30%). Vermoedelijk heeft dat te maken met het feit dat de bibliotheek Digisterker vaak aanbiedt als vervolg op een basiscursus computer & internet. We zien ook dat bijna twee derde van de e-overheidcursisten aangeeft eerder een computercursus te hebben gevolgd.
Instapniveau
Om te onderzoeken welke ontwikkeling cursisten tussen het begin en de afronding van de cursus doormaken, is het natuurlijk belangrijk om te weten met welk niveau zij instappen. Dit is onderzocht door cursisten van beide cursussen te vragen in een lijst van vrij algemene digitale activiteiten aan te geven welke hiervan zij al zelfstandig kunnen doen. De bevindingen laten zien dat deelnemers vooraf vaak al zelfstandig online nieuwsberichten lezen, contact hebben met anderen, bankzaken regelen en foto’s of filmpjes kijken (>45%). Veel minder vaak geeft men aan met de computer werk te zoeken, bestanden op te slaan, documenten te downloaden en versturen, producten te kopen en zelf foto’s of filmpjes te delen (<17%). In het niveau van digitale vaardigheden bij aanvang van de cursus zijn wel duidelijke verschillen te zien tussen de cursisten Klik & Tik en de cursisten Digisterker. De tweede groep heeft een beduidend hoger instapniveau dan de eerste. Zij gebruiken vaker al verschillende apparaten en weten op de computer en het internet al beter hun weg te vinden. Gemiddeld is de groep cursisten die een bepaalde digitale vaardigheid al onder de knie heeft bij Digisterker 41% en 28% bij Klik & Tik.
Ontwikkeling van gedrag en vaardigheden
Om te zien welke ontwikkeling cursisten doormaken gedurende de periode dat zij de cursus hebben gevolgd, vergelijken we het vooraf gerapporteerde instapniveau met wat men na afronding van de cursus zegt te kunnen, weten en doen. We vroegen naar algemene vaardigheden en specifieke vaardigheden die in de betreffende cursus veelal centraalstaan. De resultaten over Klik & Tik laten zien dat voor bijna alle vaardigheden geldt dat de groep mensen die deze kan toepassen na de cursus groter is dan ervoor. Gemiddeld is de toename 8%. De stijging is het sterkst bij teksten typen (15%), het zoeken van informatie over cursussen, opleidingen, hobby of sport (15%), contact hebben met andere mensen (11%), foto’s of filmpjes kijken (10%) en berichten lezen van MijnOverheid.nl (10%). De cursus lijkt minder invloed te hebben op het inloggen met DigiD, het spelen van spelletjes, het regelen van bankzaken en het zoeken van werk (<5%). In de cursusspecifieke vaardigheden wordt een grotere vooruitgang geboekt: hier neemt de groep mensen die de vaardigheden toepast gemiddeld toe met ruim 13%. Men maakt vooral stappen op de echte basisvaardigheden, zoals het aanmelden met een naam en wachtwoord, het werken met de muis, typen en het zoeken van informatie op een website (>16%).
Ook bij de cursisten van Digisterker zien we een significante toename in het vaardighedenniveau tussen start en afronding van de cursus. Ook hier is de stijging met name betekenisvol voor de vaardigheden die te maken hebben met de onderwerpen die tijdens de cursus aan bod komen. Gemiddeld neemt het aantal mensen dat cursusspecifieke vaardigheden kan toepassen toe met 18%. De stijging is het grootst bij het zoeken van informatie op een website van de overheid (38%), inloggen met DigiD (34%) en informatie zoeken op de websites van uitvoeringsinstanties (22%). Bij de andere, meer algemene digitale vaardigheden is de toename van het aantal mensen dat deze toepast veel kleiner.
Figuur 2: Percentage cursisten dat aangeeft een bepaalde digitale vaardigheid te kunnen toepassen op het gebied van overheidszaken, voor en na de cursus
Op basis van de vergelijking van vaardighedenniveaus voor en na afronding van de cursus kunnen we voorzichtig concluderen dat deelnemers van beide cursussen worden gestimuleerd en ondersteund om de computer en het internet meer in te zetten voor het regelen van zaken in het dagelijks leven. Na afloop van de cursus kunnen zij meer (zelfstandig) op de computer en het internet dan voor de start.
Meer zelfvertrouwen
Hoe ervaren cursisten zelf de stappen die zij maken tijdens de cursus? Wat voor gevoel levert dit hen op? Om daarachter te komen, is niet alleen gevraagd naar hun vaardigheden, maar ook naar hun attitude jegens de computer, het internet en de e-overheid. Ook hierin zien we een overwegend positief beeld. Veel cursisten geven niet alleen aan op de computer beter hun weg te kunnen vinden, maar ervaren hierbij ook meer plezier en zelfvertrouwen. Voor beide typen cursussen geldt dat veel mensen na afloop van de cursus het gebruik van computer, internet en/of e-overheid leuker vinden; zich veiliger voelen bij het gebruik ervan; minder vaak hulp nodig hebben; minder vaak stress ervaren en minder vaak bang zijn om iets verkeerd te doen. Wordt cursisten na afloop van de cursus gevraagd naar de opbrengsten die zij zelf ervaren als gevolg van de cursus in de bibliotheek, dan lijkt men over het algemeen nog positiever dan de eerdere bevindingen doen verwachten. Hoewel de stappen die cursisten maken in hun vaardigheden lang niet altijd heel groot zijn, lijken die er wel toe te leiden dat deelnemers zelf vinden dat zij hierdoor beter kunnen meedoen in de samenleving. Cursisten geven aan zich veiliger te voelen op de computer ne het internet en minder afhankelijk te zijn van hulp van anderen. Bovendien lijkt de cursus aan te zetten tot meer oefenen, doorgaan met leren en een hoger vaker gebruik van de bibliotheek.
Figuur 3: Percentage cursisten dat met ‘ja’ of ‘een beetje’ antwoordt op stellingen over de opbrengst van de cursus
Kritisch blijven
Hoewel op basis van de bevindingen van dit onderzoek over het algemeen een overwegend positief beeld naar voren komt, blijft het raadzaam om te waken voor overhaaste conclusies en cherry picking. De zoektocht naar een positief effect en de bevestiging van vermoedens over de impact van programma’s brengt het risico met zich mee dat vooral naar positieve bevindingen wordt gekeken en kritische reflectie uitblijft. De resultaten laten weliswaar zien dat een betekenisvolle groep cursisten positieve stappen maakt in zelfredzaamheid en zelfvertrouwen, maar wie kritisch kijkt, ziet ook dat op alle dimensies van vaardigheden en attitude sprake is van een eveneens betekenisvolle groep die ook na het volgen van de cursus nog niet lijkt te kunnen meekomen. Wie is die groep mensen en wat maakt dat zij maar weinig stappen kunnen maken op het vlak van digitale vaardigheden? Ligt het aan hun eigen capaciteit of heeft het te maken met de manier waarop de cursus wordt aangeboden? Het antwoord op die vragen moet duidelijker worden als we dieper in de onderzoeksdata duiken. Daarnaast blijft het bij elk onderzoek belangrijk om stil te staan bij de voor- en nadelen van een gekozen onderzoeksmethode. Voor de Impactmonitor wordt gebruikgemaakt van gestandaardiseerde enquêtes die in een voor- en nameting aan de cursist worden voorgelegd. Die methode maakt het mogelijk op systematische wijze informatie te verzamelen onder een grote groep respondenten. De mogelijkheid om de vragenlijst in print voor te leggen, biedt het voordeel dat ook cursisten die nog niet met een computer overweg kunnen, mee kunnen doen aan het onderzoek. Maar er zijn ook nadelen. Zo is het vanwege de gekozen meetmomenten - voor en direct na afloop van de cursus - niet mogelijk om te kijken of het effect van de cursus na verloop van tijd niet uitdooft. Daarnaast wordt in het onderzoek niet gekeken naar mogelijke andere factoren die van invloed kunnen zijn op de attitude en het vaardighedenniveau van cursisten. Het gevolg is dat we niet met volledige zekerheid kunnen zeggen dat de gevonden effecten ook daadwerkelijk door de cursus in de bibliotheek tot stand zijn gekomen. Desalniettemin bieden de resultaten uit het grootschalig onderzoek met de Impactmonitor een sterke aanwijzing voor een positieve impact van digivaardigheidscursussen in de bibliotheek.