Metastudie online leren illustreert zinloosheid evidence based onderzoek

Via Tom Werner's blog heb ik deze Amerikaanse metastudie ontdekt over de effectiviteit van online leren.

De onderzoekers hebben meer dan duizend onderzoeksrapporten bestudeerd, die in twaalf jaar tijd zijn verschenen.


Analysts screened these studies to find those that
(a) contrasted an online to a face-to-face condition, (b) measured student learning outcomes, (c)
used a rigorous research design, and (d) provided adequate information to calculate an effect
size.


De onderzoekers hebben uit deze studies 51 effecten gevonden, met name bij oudere lerenden (er bestaat weinig onderzoek naar (t)e-learning bij kinderen). Zij constateren onder meer dat online leren gemiddeld tot betere prestaties leidt dan face to face leren. De beste leerresultaten worden echter bereikt als sprake is van een mix van online en face to face leren. Een andere  bevinding is dat de effectiviteit van online leren los staat van de inhoud en doelgroep.

Tegelijkertijd stellen zij dat de omstandigheden -waaronder de lerenden leerden- sterk verschilden (online lerenden konden in een studie bijvoorbeeld meer tijd aan een taak besteden). De onderzoekers vragen zich zelfs af of de omstandigheden niet meer van invloed zijn op de studieresultaten, dan het medium. Zij geven ook aan dat binnen studies bijvoorbeeld geen rekening is gehouden met curriculum materialen, didactiek en tijd die besteed wordt aan leren. Een belangrijke conclusie luidt dan ook


In many of the studies showing an advantage for online learning, the
online and classroom conditions differed in terms of time spent, curriculum and pedagogy. It was
the combination of elements in the treatment conditions (which was likely to have included
additional learning time and materials as well as additional opportunities for collaboration) that
produced the observed learning advantages.


Het onderzoek lijkt een antwoord te willen zijn op de behoefte van beleidmakers naar 'bewijsmateriaal' naar wat goed onderwijs is. Wat het rapport echter in wezen doet is de zinvolheid van evicence-based onderwijsonderzoek ter discussie stellen. 

Er zijn binnen leren zo veel variabelen in het spel (zoals leerdoelen, pluriforme doelgroep, didactiek, pedagogisch klimaat, leerinhouden of condities) dat je al snel appels met peren aan het vergelijken bent. Daar komt bij dat het m.i. onzinnig is om anno 2009 uitspraken te doen over de effectiviteit van (t)e-learning op basis van studies uit 1996. Wat betreft technologie, didactiek en onderwijsontwerp heeft online leren immers een enorme ontwikkeling doorgemaakt.

This content is published under the Attribution 3.0 Unported license.

Delen

3 reacties

  1. MARVEL e-learning
    Uit praktijkonderzoek gebaseerd op statistieken uit ons eigen werk, is gebleken dat e-learning voor volwassenen het beste werkt als je tekst, plaatjes met gesproken tekst combineerd, ofwel video met gesproken tekst.
    Het beste werkt het nog als je daaraan acties van de cursist verbindt, zodat je de aandacht vasthoudt.
    Dit blijkt bij volwassenen educatie voor E-learning VCA basis en E-learning VCA VOL.

  2. Wilfred,
    Mooie parel die je hebt gevonden! Maar je nodigt met je samenvatting wel uit tot een kritische reactie.
    Je stelt dat het onderzoek de waarde van evidence based onderzoek ter discussie stelt vanwege het grote aantal variabelen dat je inderdaad moet controleren. Bovendien stel je dat onderzoek uit 1996 achterhaald zou zijn omdat de technologie zo’n ontwikkeling heeft doorgemaakt. Je conclusies vind ik wat kort door de bocht. Hieronder mijn argumenten, én een punt van kritiek op het onderzoek zelf.
    Dat van die technologische ontwikkeling onderschrijf ik volledig, maar door te stellen dat daardoor onderzoek uit 1996 over (t)e-learning niet meer waardevol is maak je dezelfde fout als waarin in dit onderzoek de vinger op wordt gelegd: het is niet zozeer de technologie, maar het instructie-ontwerp dat het verschil maakt. Het onderzoek bevestigd hiermee de bevindingen van een soortgelijk onderzoek uit 1983(!) door Richard Clark (Reconsidering Research on Learning from Media; Clark is, niet geheel toevallig, adviseur bij dit onderzoek).
    En ja, er zijn veel variabelen waarop je moet controleren om goede uitspraken te kunnen doen als je empirisch onderzoek uitvoert. Maar ik ben het niet eens met je uitspraak dat het onderzoek daarmee de waarde van evidence based onderzoek ter discussie te stelt. Over het instructie-ontwerp worden op basis van empirisch onderzoek veel interessante dingen gezegd in dit onderzoek. Niet veel nieuws als je bekend bent op dit terrein, maar daardoor niet minder interessant: leeractiviteiten gericht op reflectie op het leren dragen bij aan een hoger studieresultaat. Mijn toevoeging: wat is het toch mooi dat we door de nieuwe technologieën de uitwisseling tussen lerenden eenvoudiger kunnen organiseren; daar zal je het over eens zijn.
    Tenslotte een punt van kritiek op het onderzoek zelf: het onderzoek laat een belangrijke factor buiten beschouwing: motivatie van de lerende. Terwijl intussen ook bekend is (wederom ook empirisch onderzocht en lastig te weerleggen kennelijk) dat leeromgevingen waarin goed nagedacht is over het motiveren van de student, bijdragen aan een hoger studieresultaat en studie-uitval tegengaan.

  3. @Marvele-learning: dank voor je aanvulling.
    @David Berg: op het eerste deel van je reactie zal ik apart ingaan. Wat betreft evidence-based onderwijsonderzoek. Ik bestrijd niet de waarde van onderzoek naar de effectiviteit van bepaalde leeractiviteiten, interventies, en dergelijke. Waar ik wel kritiek op heb is op onderzoek dat wil bewijzen dat competentiegericht leren beter of minder beter werkt dan frontaal-klassikaal leren. Of onderzoek dat online leren vergelijkt met face-to-face leren. En dat is wat deze metastudie doet. De complexiteit en m.i. onuitvoerbaarheid van evidence based onderzoek naar onderwijs wordt geïllustreerd door Paul Kirschner in het hoofdstuk “Evidence based onderwijs: waar gaat het nou over?” in http://www.sardes.nl/simple/download.php?fileId=764. Ik ben het vaak niet met Kirschner eens, maar op dit (en ook wel anderen) wel. Met name de methodologische problemen, die Kirschner beschrijft maken dat ik zeer sceptisch sta ten opzichte van pleidooien voor evidence-based onderzoek.
    Wat betreft je kritiekpunt: helemaal mee eens.

Geef een reactie

Je e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *