Leertechnologie wordt op grote schaal toegepast. Hoe goed die technologie werkt om leerresultaten te verbeteren – of wanneer ze werkt, voor wie, en onder welke voorwaarden – blijft volgens Emily Tate Sullivan een mysterie. Volgens haar gloort er echter licht aan het einde van de tunnel.
Sullivan stelt dat onderzoek en evaluaties naar de effecten van leertechnologie vaak niet worden uitgevoerd. Aanbieders van leertechnologie worden tot nu toe weinig gestimuleerd om om te bewijzen dat hun producten doen wat ze zeggen dat ze doen. Dat gaat echter veranderen.
Een voorbeeld is het bedrijf Bamboo Learning. Zij werken samen met LearnPlatform. Dit bedrijf helpt schooldistricten bij het beheren van leertechnologieën. LearnPlatform heeft ook een ‘evidence-as-a-service model’ waarmee zij binnen afzienbare termijn onderzoek doen naar de effectiviteit van leertechnologie. Zij gaan daarbij uit van de vier niveaus van bewijs van het Amerikaanse ministerie van onderwijs (de federale Every Student Succeeds Act, ESSA). Deze niveaus zijn:
- Niveau 1: sterk bewijs
- Niveau 2: redelijk bewijs
- Niveau 3: veelbelovend bewijs
- Niveau 4: toont een rationale aan
Bamboo Learning is begonnen met het aantonen van de rationale. Van daaruit begon het bedrijf te streven naar ESSA-niveau 3 (veelbelovend bewijs), waarvoor ten minste één goed ontworpen en goed uitgevoerd correlationeel onderzoek met statistische controles nodig is. Dat is gebeurd tijdens een pilotstudie waaruit bleek dat leerlingen die regelmatig gebruik maakten van Bamboo’s applicatie beter leerden lezen en luisteren en hoger scoorden op engagement. De volgende stap -aantoonbaar redelijk bewijs- kan worden verkregen door middel van een pilotstudie met minimaal 300 respondenten. Op basis van deze aanpak heeft Bamboo een selectietraject gewonnen voor een contract met 12.000 licenties.
Bamboo Learning is echter een witte raaf. De meeste “ed tech” bedrijven laten geen onafhankelijk, grondig onderzoek naar hun producten doen, omdat ze dat niet hoeven. Zij realiseren zich volgens Emily Tate Sullivan dat ze weg kunnen komen met een kleurrijke, goed gebrachte case studie, en dat “bewijs” noemen. Deze vorm van marketing is echter niet te vergelijken met onafhankelijk onderzoek op basis van een wetenschappelijk geaccepteerde standaard onderzoeksaanpak.
Sullivan benadrukt dat er op het gebied van leertechnologie geen of weinig toegangsdrempels zijn. Er is geen orgaan dat, vergelijkbaar met de geneesmiddelenindustrie, bedrijven verantwoordelijk houdt voor hun claims voordat ze een product op de markt brengen. De meeste docenten en schoolleiders hebben volgens haar niet de tijd om onderzoek uit te spitten en het kaf van het koren te scheiden.
Volgens de auteur gaan we overigens wel de goede kant op, maar wel in een traag tempo. LearnPlatform’s nieuwe evidence-as-a-service model maakt evaluatie door derden beschikbaar voor aanbieders leertechnologie tegen een fractie van de kosten en in een fractie van de tijd (een paar weken, in plaats van 18 tot 36 maanden). De informatie wordt volgens haar ook in een veel toegankelijker en behapbaar formaat aan de vragende schooldistricten geleverd. Dit model maakt “wetenschappelijk bewijs” beter toegankelijk voor bedrijven en onderwijsinstellingen.
Bart Epstein, CEO of the Edtech Evidence Exchange, meent in het artikel van Sullivan dat een toezichthouder en regelgeving nodig zijn om als sector daadwerkelijk te veranderen en meer aandacht te besteden aan wat werkt.
Mijn opmerkingen
Zo’n drie weken geleden heb ik aandacht besteed aan het pleidooi van Fabio Segura en Simon Sommer van de Zwitserse Jacobs Foundation voor de ontwikkeling van leertechnologie op een manier zoals ook medicijnen worden ontwikkeld. De vergelijking tussen medicijnen en leertechnologie gaat m.i. mank omdat onderwijs niet in een laboratorium wordt uitgevoerd, je rekening moet houden met veel variabelen en contextfactoren, er veel minder geld is voor R&D en er geen controlerende instantie is.
Ik heb toen o.a. aangegeven dat je minimaal aannemelijk zou moeten maken of een bepaalde leertechnologie leerzaam is door te analyseren op welke didactische richtlijnen deze gebaseerd is. In feite is dit niveau vier van de Amerikaanse federale Every Student Succeeds Act.
Verder ben ik wel voorstander van een onafhankelijk toezichthouder die bewaakt of de claims van ontwikkelaars van leertechnologie hard gemaakt kunnen worden. Een dergelijke toezichthouder zou m.i. op EU-niveau moeten opereren (maar dat zonder de gebruikelijke EU-stroperigheid). De Nederlandse/Belgische schaal is daar m.i. te beperkt voor.
Er is ook meer onderzoek nodig naar veelbelovend, redelijk en sterk bewijs. We moeten ons wel bewust zijn van de complexiteit van dergelijk onderzoek. Die complexiteit heeft ook de maken met de aard van leertechnologie. Bepaalde leertechnologieën hebben een beperkte scope, zoals het verbeteren van rekenvaardigheden van jongere leerlingen. De scope van, bijvoorbeeld, een leermanagementsysteem, is veel breder. Wat wil je meten? En hoe meet je dat dan?
This content is published under the Attribution 3.0 Unported license.
Geef een reactie