De Nieuw-Zeelandse hoogleraar Onderwijskunde, John Hattie, is beroemd geworden met zijn metastudie naar de effecten van onderwijsinterventies op leerprestaties. Hij concludeert onder meer dat web-based leren geen significante bijdrage levert aan leerprestaties. Ik heb hier echter vragen bij.
Aanleiding voor deze blogpost is de bijdrage van Paul Disco: Waarom raken onderwijskundigen geïrriteerd als je naar leereffect vraagt?
Terug naar Hattie en web-based leren. Ik heb zijn boek Visible Learning niet gelezen. Ik heb wel een presentatie van hem gezien en over zijn werk gelezen (zoals What Works Best?, Making learning Visible (John Hattie) en de slides over zijn boek). Ik ben daarom terughoudend met het plaatsen van kritische kanttekeningen bij deze metastudie, en wil me beperken tot het stellen van vragen:
- Hoe definieert hij leerprestaties? Gaat hij uit van dezelfde definitie of neemt hij de definities uit de bestudeerde studies over? Er moet m.i. sprake zijn van een relatie tussen leerdoelen, leerinhouden, didactiek, leermiddelen en de wijze van beoordelen. Als je er bijvoorbeeld naar streeft dat leerlingen beter leren samenwerken, maar je meet kennisreproductie, dan moet je je niet verbazen dat er geen verband is tussen de leerinterventie en de leerprestatie.
- Wat is zijn definitie van web-based learning? Wat verstaat hij daaronder? Het terrein van web-based learning is divers en sterk in ontwikkeling. Houdt Hattie daarmee rekening? We weten bijvoorbeeld ook dat je ICT prima kunt gebruiken voor formatief toetsen met automatische feedback. Valt dat bij Hattie onder web-based learning of onder feedback. Feedback scoort bij Hattie wel erg hoog.
- Houdt Hattie in zijn onderzoek rekening met diverse factoren en verschillende contexten die van invloed kunnen zijn op de effectiviteit van bepaalde interventies, de kwaliteit van het onderwijs, en op de leerprestaties? Van computer supported collaborative learning weten we bijvoorbeeld dat de kwaliteit van de taak sterk van invloed is op de leerprestaties.
Daar komt bij dat je e-learning niet alleen inzet om leerprestaties te verbeteren. Je kunt e-learning ook gebruiken om het onderwijs meer te flexibiliseren en anders te organiseren, zodat lerenden bijvoorbeeld meer in eigen tempo kunnen leren (acceleratie heeft volgens Hattie wel weer een positief effect op leerprestaties).
Paul Disco stelt in zijn bijdrage dat hij van docenten veel bijval krijgt voor zijn pleidooi om meer te doen met Hattie’s bevindingen ten aanzien van leereffecten. Dat zou overigens wel eens kunnen veranderen als zij zich realiseren dat kleinere klassen en vooral de zomervakantie het bij Hattie moeten ontgelden.
This content is published under the Attribution 3.0 Unported license.
In dit onderzoek (meta-analyse) is web-based learning maar één van de 130 factoren die onderzocht is, naast bijvoorbeeld simulation en gaming die ook wel tot e-learning worden gerekend. Het is absoluut geen zwart-wit onderzoek waaruit blijkt dat web-based learning niet werkt. Maar er zijn verschillende andere factoren zijn die onderwijs succesvol maken, vooral de mindset van de onderwijsgevende en de onderwijsnemende oftewel de motivatie.
Klopt. Dat bedoel ik met definities. Om leereffecten te kunnen meten, is web-based learning wellicht een te breed begrip. Daarnaast zijn er meer factoren van invloed op ‘achievement’ dan de onderzochte interventies.
Dag Wilfred,
Die reactie snap ik niet helemaal. Hattie heeft geen leereffecten gemeten, en evenmin concepten gedefinieerd. Hij heeft gerapporteerde leereffecten vergeleken en daarvoor categorieën gecreëerd. Je tweede en derde vraag uit je blogpost zijn dus minder relevant in het licht van een bespreking van Hattie’s onderzoek.
Je kunt je wel afvragen (de tweede vraag herformuleren) welke onderzoeken hij heeft gerangschikt in de categorie ‘web-based learning’ en welke selectiecriteria hij daarvoor heeft gebruikt.
Je opmerking “Daarnaast zijn er meer factoren …” komt in het licht van een bespreking van Hattie’s onderzoek vreemd over. Het gaat namelijk in zijn meta-analyse om een grote hoeveelheid factoren, c.q. ‘onderzochte interventies’ (ruim meer dan honderd!).
De waarde van Hattie’s onderzoek is voor mij dat door hem wordt beleden dat veel factoren effectief van invloed zijn op leren en dat het zinvol is die vooral onderling te vergelijken op hun effectiviteit en, nog mooier, onderling te combineren bij de toepassing in de praktijk. Die combinatie is te maken door bijvoorbeeld wellicht verwante categorieën, zoals web-based learning en feedback, samen te voegen.
Docenten die zweren bij één enkele interventie omdat die bewezen effectief is, kunnen bij Hattie rekenen op afkeuring.
Je opmerking over de inzet van e-learning voor andere doelen dan de verbetering van leerprestaties doet vreemd aan getuige je onderbouwing bij je eerste vraag. Je stelt daar immers dat er een verbinding moet zijn tussen “leerdoelen, leerinhouden, didactiek, leermiddelen en de wijze van beoordelen”. Als je daar de ‘organisatie van het leren’ en de ‘distributie van content’ aan toevoegt (beetje à la Betty Collis) wordt ook de samenhang van leerprestaties met flexibilisering en temporele en spatiële differentiatie op basis van de inzet van leertechnologie zichtbaar. Al zou het maar om modererende effecten gaan.
Een belangrijke uitkomst is aangehaald door Göran: factoren/interventies zijn voor hun effectiviteit (groten)deels afhankelijk van de mindset van de onderwijsgevende. En mindset is hier niet te verwarren met/verengen tot academisch geschoolde docenten.
Daar sluit Hattie zijn presentatie ook mee af (zie de Youtubeversies: part 1 -http://youtu.be/sng4p3Vsu7Y en part 2 – http://youtu.be/3pD1DFTNQf4). Dat inzicht sluit overigens wel aardig aan bij de laatste blogpost van Paul Kirschner op Didactiefonline (http://goo.gl/nK862H).
Paulo
Zoals ik al schreef: ik heb zijn boek niet gelezen. Heb al via Twitter begrepen dat hij in hoofdstuk 2 van zijn boek antwoord geeft op enkele van mijn vragen. Ik hoop dat ik wel vragen mag stellen zonder het boek gelezen te hebben? Los daarvan: ik heb nog geen flauw idee wat hij verstaat onder web-based learning. Ik weet dat Hattie -ik meen- 138 interventies heeft onderzocht. Van religieus onderwijs tot aan zitten blijven. Toch zal ook Hattie niet volledig zijn. Ik geef het voorbeeld van CSCL niet voor niks. Stel Hattie heeft samenwerkend leren mbv ICT onderzocht aan de hand van 25 studies. In 5 studies blijkt dat veel aandacht is besteed aan de kwaliteit van de taak (en met succes). In de andere studies is dat niet het geval. Dan komt CSCL overall slecht uit de bus. Mijn opmerking over andere doelen doet niet vreemd aan. Ik kan me bijvoorbeeld voorstellen dat internationaal georiënteerde universiteiten kwalitatief minder goede MOOCs aanbieden om meer studenten te bereiken. Dat is dan een ander doel.