Hoe informatief zijn data over het gebruik van een leermanagementsysteem nu eigenlijk?

Bij learning analytics verzamel je data over leeractiviteiten. Deze data analyseer je onder meer om de voortgang van lerenden in kaart te brengen en hen te begeleiden. EdTech-bedrijven, zoals ontwikkelaars van leermanagementsystemen, bieden tools aan die de betrokkenheid van lerenden automatisch en real-time kunnen volgen. Chris Zomer staat in het artikel Student engagement data: what does it actually mean? stil bij verschillende typen data en bij de vraag wat deze tools eigenlijk meten?

De laatste jaren beschikken we over steeds meer tools die gegevens van lerenden vaak in visueel aantrekkelijke dashboards, met makkelijk te interpreteren grafieken, presenteren. Volgens Zomer, onderzoeker aan het ARC Centre of Excellence for the Digital Child, komen vijf typen ‘engagement data‘ (gegevens met betrekking tot betrokkenheid) veel voor in leermanagementsystemen (LMS) en leerplatforms:

1. Tijd-voor-de-taak: Dit meet hoeveel tijd lerenden op het platform doorbrengen. Deze data worden vaak in kaart gebracht. Volgens Zomer is het echter twijfelachtig of dit echt betrokkenheid aangeeft. Een openstaand browservenster betekent immers niet automatisch actief leren.
2. Taak-voltooiing: Dit lijkt volgens de auteur een duidelijkere maatstaf, maar hangt sterk af van hoe ‘voltooiing’ wordt gedefinieerd. Sommige platforms tellen bijvoorbeeld boeken als ‘gelezen’ wanneer er simpelweg doorheen is geklikt.
3. Bijdrage: Dit meet de hoeveelheid posts of reacties van lerenden. Dit wordt ook vaak beschouwd als extra teken van betrokkenheid. Sommige LMS-en, zoals Brightspace, visualiseren dit in een sociogram dat populaire bijdragers met elkaar verbindt. Hoeveelheid reacties zeggen uiteraard niets over de kwaliteit ervan.
4. Technische interactie: Deze gegevens beschrijven puur technische interacties, zoals het aantal keren dat content is bekeken. Dit heeft volgens Zomer weinig te maken met wat onderwijskundigen onder betrokkenheid verstaan, maar is belangrijk voor het te gelde maken van platforms.
5. Biometrische gegevens: Onderzoekers experimenteren met het meten van hersengolven of oogbewegingen om betrokkenheid te tracken. Dit ligt uiteraard heel gevoelig als het gaat om privacy. Ook is het de vraag of echt een relatie is tussen biometrische gegevens en engagement.

Volgens Chris Zomer is een groot probleem met al deze vormen van ‘engagement data‘ dat ze betrokkenheid framen als iets dat per definitie meetbaar is. Hij wijst echter op andere, niet-kwantificeerbare aspecten uit, zoals emotionele en cognitieve dimensies. De dashboards laten bijvoorbeeld niet zien of een lerende plezier heeft in het leren of gemotiveerd is om door te zetten bij tegenslagen. Hij waarschuwt dan ook dat een dergelijke smalle technologische benadering van betrokkenheid de perceptie van docenten kan beïnvloeden. Hij roept op tot kritische reflectie: wat voor soort betrokkenheid willen we eigenlijk zien bij onze lerenden? En in hoeverre zijn de metriek van digitale leerplatforms daadwerkelijk nuttig?

Mijn opmerkingen

Zomer wijst terecht op de beperkingen van het gebruik van dergelijke data. Ik zou er aan toe willen voegen: aan het uitsluitend gebruiken van deze data. In combinatie met andere data, zoals fysieke aanwezigheid, leerresultaten, en een kwalitatieve analyse van fysieke en online bijdragen, kunnen deze data wel degelijk iets zeggen over betrokkenheid (als je er verstandig mee omgaat).

Daar komt bij dat het ook afhankelijk is van het curriculum en van de leermaterialen. Als je als docent veel online interactie hebt ingebouwd in je curriculum, dan kunnen het aantal reacties wel degelijk een indicatie zijn van engagement. Als je echter weinig interactie hebt ingebouwd, dan is ‘Bijdrage’ geen zinvolle maatstaf. Verder kan ik me OU-onderzoek herinneren waaruit bleek dat studenten, die deelnamen aan een online cursus en die binnen twee weken niet waren ingelogd in de online leeromgeving, grote kans liepen voortijdig uit te vallen. Bij onderwijs, waarbij online leren amper deel uit maakt van het curriculum, zal dit geen betrouwbare voorspeller zijn. De context van het onderwijs doet er dus toe.

This content is published under the Attribution 3.0 Unported license.