Terwijl onderwijsinstellingen wereldwijd miljarden investeren in digitale leermiddelen, blijft de vraag naar de ‘effectiviteit’ van deze tools opportuun. In zijn bijdrage “Hoe scholen de effectiviteit van digitale leermiddelen kunnen helpen verbeteren” laat Kees Mastenbroek zien dat keurmerken een oplossing kunnen bieden. Er zitten wat mij betreft echter ook haken en ogen aan zo’n keurmerk.
Wereldwijd investeren onderwijsinstellingen grote bedragen in digitale leermiddelen. Alleen al in het basis- en voortgezet onderwijs werd in 2022/23 volgens Mastenbroek ongeveer 18 miljard dollar uitgegeven. Een gemiddeld Amerikaans schooldistrict maakt volgens hem gebruik van zo’n 2.500 verschillende digitale tools. Deze grote investeringen leiden tot vragen over de werkelijke waarde van deze tools voor het leren.
De Amerikaanse wet Every Student Succeeds Act (ESSA) uit 2015 heeft een belangrijke standaard gezet voor het beoordelen van educatieve technologie. Deze wet verplicht scholen om alleen bewezen -‘evidence-based’ effectieve methoden te gebruiken. ESSA onderscheidt drie bewijsniveaus. Het sterkste bewijs komt uit goed opgezette gerandomiseerde onderzoeken met minimaal 350 lerenden op meerdere locaties, waarbij een statistisch significant positief effect wordt aangetoond op prestaties van lerenden. Het tweede niveau betreft vergelijkbaar onderzoek, maar dan met matching in plaats van randomisatie. Het derde niveau omvat studies die bijna aan de criteria voor niveau 1 of 2 voldoen, maar bijvoorbeeld geen rekening hielden met clustering of een kleinere steekproef hadden. Ook retrospectieve studies vallen in deze categorie. Elk niveau vereist een statistisch significante verbetering van de leerresultaten of andere relevante uitkomstmaten. Tenslotte kent ESSA ook interventies die nog niet voldoen aan bovenstaande bewijsniveaus maar wel worden geëvalueerd.
Dit wordt beoordeeld door onafhankelijke organisaties. Deze aanpak werkt volgens Mastenbroek: meer dan de helft van de 70 meest gebruikte digitale leermiddelen in het Amerikaanse onderwijs presenteert nu ESSA-conform onderzoek.
Ook buiten de Verenigde Staten komen keurmerken op, schrijft de auteur. Een onderzoek uit 2023 vond 74 verschillende edtech-keurmerken wereldwijd, zoals Edtech Impact in het Verenigd Koninkrijk en Education Alliance Finland. Om meer samenhang te creëren, heeft een groep onderwijswetenschappers het International Certification of Evidence of Impact in Education (ICEIE) opgericht. Dit raamwerk beoordeelt producten op vijf gebieden: effectiviteit, efficiëntie, gelijkheid, ethiek en milieu-impact, met gouden, zilveren of bronzen keurmerken. Er zijn dus ook keurmerken die bijvoorbeeld kijken naar interoperabiliteit en privacy (ook heel belangrijk).
De invoering van keurmerken in de VS heeft volgens Mastenbroek geleid tot positieve veranderingen. Edtech-bedrijven investeren nu meer in onderwijskundige expertise en effectiviteitsonderzoek.
Ook in Nederland groeit de belangstelling voor een keurmerk. Het Groeifonds Project Npuls werkt volgens Mastenbroek sinds 2024 samen met de Haagse Hogeschool aan een certificeringsmodel voor het mbo en hbo. Als onderwijsinstellingen minimumeisen gaan stellen aan digitale leermiddelen, ontstaat er ruimte voor certificerende instanties. Dit stimuleert edtech-bedrijven om te investeren in onderwijskundige kennis en bewijsvoering. Ook creëert het vraag naar goed opgeleide ‘learning engineers’.
Mijn opmerkingen
De invoering van keurmerken heeft in de VS geleid tot een grotere investering in onderwijskundige expertise en onderzoek op het gebied van de ontwikkeling van educatieve technologie. Dat is positief. Het is van belang om nieuwe technologie eerst op kleine schaal uit te proberen en grondig te evalueren (ook met experimentele groepen en controlegroepen). Toch kun je ook kanttekeningen plaatsen bij keurmerken.
Ik schreef al eerder dat het complex en wellicht onmogelijk is om in het kader van het onderwijs uit te gaan van ‘evidence-based’:
Bij ‘evidence-based’ gaat het namelijk om interventies die gebaseerd zijn op wetenschappelijk bewijs, vaak uit gecontroleerde studies met een controlegroep en experimentele groep. ‘Evidence-informed‘ daarentegen erkent de waarde van onderzoek, maar laat ook ruimte voor professionele ervaring en contextfactoren. Onderwijssituaties zijn namelijk complex omdat je te maken hebt met zeer veel factoren die van invloed kunnen zijn op de effectiviteit van interventies. Denk aan de achtergrond van lerenden, persoonskenmerken, hun voorkennis, de kwaliteit van de docent, etcetera. Een interventie die binnen de ene context werkt, hoeft binnen een andere context niet effectief te zijn. Docenten kunnen op basis van lange praktijkervaring hier gevoel voor hebben. ‘Evidence-informed’ erkent dit, en biedt flexibiliteit om interventies aan te passen aan specifieke lerenden of omstandigheden. Dankzij de combinatie ‘wetenschappelijke inzichten met praktijkkennis’ sluit je beter aan bij de realiteit van het onderwijs.
Dit betekent dat ESSA-niveau 1 heel lastig behaald kan worden. Ook is het belangrijk om continu onderzoek te doen en te streven naar doorlopende ‘evidence-informed‘ productverbetering. Een keurmerk zou dus minstens maar een beperkte periode moeten gelden.
Verder moet je m.i. een onderscheid maken tussen kleinschalig gebruik en grootschalige implementaties. Je kunt ook innovatie belemmeren als je al bij pilots vraagt naar evidentie. Wel zouden pilots moeten leiden tot inzichten met betrekking tot ‘effectiviteit’. Bovendien kun je ook kijken naar andere effecten dan leerresultaten (zoals tijdsbesparing). ESSA kijkt bijvoorbeeld ook naar sociaal emotioneel leren.
Tegelijkertijd loop je ook het risico dat keurmerken soms meer de nadruk leggen op naleving dan op daadwerkelijke leerresultaten of andere positieve effecten. Bovendien maak je het voor kleinere bedrijven lastig om een plek op de ‘markt’ te verwerven omdat zij minder mogelijkheden hebben om onderzoek te laten doen. Daar komt bij dat onderzoekskosten waarschijnlijk doorberekend worden naar klanten.
Ik heb eerder ook al aangegeven dat je minimaal aannemelijk zou moeten maken of een bepaalde educatieve technologie leerzaam is door te analyseren op welke didactische richtlijnen deze gebaseerd is. Gaat de leertechnologie uit van mythes zoals ‘leerstijlen’ of van principes zoals ‘retrieval practice‘? Ik ga hier in mijn keynote tijdens de aankomende NOT op in. Ik ben ook voorstander van een onafhankelijk toezichthouder die bewaakt of de claims van ontwikkelaars van educatieve technologie hard gemaakt kunnen worden (op EU-niveau).
Leveranciers zouden tenslotte terughoudend moeten zijn in het doen van ‘onbewezen uitspraken’ over de effectiviteit. Onderwijsinstellingen zouden hierop moeten doorvragen, bijvoorbeeld op basis van didactische richtlijnen.
This content is published under the Attribution 3.0 Unported license.
Geef een reactie