Wat zegt nieuw onderzoek over de effecten van leertechnologie op studieprestaties?

Verleden week donderdag heeft Jeroen Janssen van de Universiteit Utrecht een uitstekende impressie geschreven van een uitgebreide systematische review van meta-analyses naar variabelen die van invloed zijn op studieprestaties in het hoger onderwijs. In deze blogpost wil ik, uitgebreider dan Jeroen, stil staan bij de effecten van leertechnologie. Ik kijk daarbij ook verder dan studieprestaties.

In zijn bijdrage legt Jeroen Janssen een relatie tussen de recente reviewstudie “Variables Associated With Achievement in Higher Education: A Systematic Review of Meta-Analyses” van Michael Schneider en Franzis Preckel en John Hattie’s Visible Learning uit 2008. Janssen vat ook de verschillende variabelen samen en presenteert de 20 variabelen met de hoogste effectscores en de 20 met de laagste (of zelfs negatieve) effectscores. Jeroen concludeert dat de wijze van instructie er toe doet en dat er geen bewijs is dat onderwijstechnologie het onderwijs radicaal verbetert, maar wel effectief kan worden gebruikt “binnen een goed uitgedacht didactisch concept”.

Ik heb me meer in detail verdiept in de passages over online leren, blended learning en leertechnologie. Een aantal zaken valt me daarbij op:

• Blended learning wordt gedefinieerd als “instructional conditions” waarbij minimaal 50% van de cursus uit face-to-face onderwijs bestaat en studenten de overige tijd online buiten de klas leren. Dikwijls gaan definities uit tussen 30-80% online leren. De effectgrootte van blended learning is 0,33.
  De auteurs concluderen daarom dat blended learning meer effectief is dan uitsluitend klassikaal leren. Leertechnologie is het meest effectief als het klassikale interactie aanvult, stellen zij. Online leren -leren vindt volledig of nagenoeg volledig online plaats- is met een effectgrootte van 0,05 ongeveer net zo effectief als volledig klassikaal leren.
• De auteurs geven aan dat in onderzoeken lang niet altijd helder is wat men onder blended learning verstaat. Er wordt bijvoorbeeld geen minimum hoeveelheid online onderwijstijd gedefinieerd, en ook is niet altijd duidelijk wat voor leer- en doceeractiviteiten onderzoekers rekenen tot blended learning. Schneider en Preckel stellen terecht dat blended learning een zeer heterogene set aan didactische benaderingen kan impliceren. Dit bemoeilijkt de interpretatie van resultaten.
• Blended learning is meer effectief als leertechnologie cognitie ondersteunt (bijvoorbeeld door abstracte concepten te visualiseren) dan wanneer het wordt toegepast om communicatie te ondersteunen (denk aan chatten in groepen).
  Kleine groepen leren effectiever als zij face-to-face communiceren dan als zij met technologie werken. Dit zou te maken kunnen hebben met beperkte mogelijkheden voor sociale interactie die technologieën vaak hebben, suggereren Schneider en Preckel.
• De onderzoekers onderstrepen een aantal keer dat de wijze waarop leertechnologie wordt ingezet van invloed is op de effectiviteit:
  • Simulaties zijn effectiever na instructie van relevante concepten, maar niet effectief als zij uitsluitend worden gebruikt als instructie.
  • Educatieve games individueel spelen is effectiever dan educatieve games in groepen spelen. Competitie en groepsdynamica leiden mogelijk af van de inhoud.
  • Intelligente tutoring systemen, waarbij kunstmatige intelligentie gebruikt wordt om de studievoortgang te analyseren, lerenden taken op maat te geven en feedback te verstrekken afhankelijk van de individuele voortgang, is effectiever dan leren zonder technologie, Maar minder effectief dan tutoring door mensen (ik neem aan ook afhankelijk van de kwaliteit van de begeleiding).
• De auteurs concluderen dat meer onderzoek nodig is naar de effectiviteit van verschillende vormen van blended learning (didactische benaderingen, mogelijkheden voor sociale interactie, complexiteit).
• De onderzoekers hebben geen goed nieuws voor mensen die stellen dat positieve effecten van leertechnologie zullen toenemen naarmate de technologieën krachtiger worden. Er is inderdaad veel meer mogelijk met leertechnologieën . Bovendien zijn  ze meer vriendelijk in gebruik dan jaren geleden. Onderzoek laat echter zien dat de effecten van bijvoorbeeld intelligentie tutor systemen, online leren of blended learning in de loop der jaren kleiner zijn geworden, en niet groter (wat je zou verwachten als leertechnologie meer krachtig wordt).
  Er zijn bijvoorbeeld geen meta-analyses beschikbaar over de invloed van bijvoorbeeld MOOCs, audience response systemen of sociale media op studieprestaties, stellen Schneider en Preckel.

  Obviously, technological advances do not automatically improve educational practices or raise student achievement.

• De auteurs schrijven dat er geen empirische ondersteuning is voor de opvatting dat
  ICT

  will revolutionize higher education, at least not with respect to studentachievement.

  Je kunt uiteraard niet in de toekomst kijken.

• ICT kan niet worden gebruikt om kwalitatief minder goede docenten beter te maken of om een gebrek aan docentprofessionalisering te compenseren.
  

  However, technology use can have weak to medium–strong associations with achievement when teachers use it in goal-directed ways as part of a carefully prepared overarching didactic concept.

Wat betreft bevindingen op het gebied technology-enhanced learning bevat deze analyse dus ook interessante constateringen, die je overigens wel vaker terug leest in publicaties.

De effectiviteit van leertechnologie wordt sterk beïnvloed door wijze waarop de leertechnologie wordt gebruikt en de context waarbinnen deze technologieën worden ingezet. De meest opvallende constatering vind ik echter dat vaak slecht gedefinieerd is wat blended learning is. En probeer bijvoorbeeld ook eens peer assessment, het organiseren van een cursus, self-assessment of open vragen te versterken met ICT. De constatering dat de positieve effecten van leertechnologieën in de loop der jaren kleiner worden, zal voor menigeen ontnuchterend werken. Wellicht komt dit door het “novelty effect“?

Tot slot. Schneider en Preckel focussen zich op variabelen die van invloed zijn op studieprestaties in het hoger onderwijs. Je kunt echter ook leertechnologie inzetten om onderwijs meer toegankelijk te maken of meer efficiënt (minder reiskosten, minder reistijd, minder gemiddelde studietijd, enzovoorts; best belangrijk als je werkende volwassenen wilt bereiken). Als dan blijkt dat deze doelen worden bereikt en online leren net zo effectief is als klassikaal leren, dan is dat eigenlijk best goed nieuws.

This content is published under the Attribution 3.0 Unported license.