Kun je aan de hand van gedrag van lerenden binnen een DLO voorspellen of zij worstelen met het leren?

We verzamelen meer data over ‘leergedrag’ van lerenden naarmate we een digitale leeromgeving meer intensief gebruiken. Maar zegt deze data iets over de vraag of lerenden moeite hebben met leren? En wat kunnen we daar vervolgens mee?

Jeffrey R. Young besteedt in Can Analyzing Clicks in Digital Systems Predict Which Students Are Struggling? It Depends aandacht aan een onderzoekspaper dat betrekking heeft op deze vraag. De onderzoekers hebben gekeken naar administratieve data zoals een gemiddeld schoolcijfer als voorspeller van ‘studiesucces’ en naar ‘klikgedrag’ in een digitale leeromgeving.  Wat blijkt?

• Bij lerenden die nieuw binnen de onderwijsinstelling waren, hielpen de data uit de digitale leeromgeving bij het doen van voorspellingen te over hun succes, en wel aanzienlijk beter dan de voorspellingen op basis van alleen administratieve gegevens.
• Bij lerenden die al eerder bij de instelling hadden gestudeerd, hadden de data uit de DLO weinig toegevoegde waarde ten opzichte van de administratieve gegevens.

Een mogelijke verklaring is dat de instelling over weinig administratieve gegevens van nieuwe lerenden beschikt. Tegelijkertijd is het analyseren van DLO-data een erg arbeidsintensief proces omdat het om zeer veel data gaat.  Als je daar eenmaal een systeem voor hebt, dan valt het weer mee.

Vervolgens moet je wel wat met die signalen doen. Je komt dan volgens Young op het terrein van ‘nudging’: het plegen van relevante interventies met als doel lerenden ‘in beweging te krijgen’. Immers:

there’s a lot to do in between predicting student performance and generating better student outcomes.

Onderwijsinstellingen kunnen op basis van voorspellende analyses berichten via email, MS Teams of SMS sturen waarmee zij lerenden, die door het systeem als ‘passief’ worden geïdentificeerd, stimuleren om bijvoorbeeld harder hun best te doen of bijles te nemen. Critici vrezen dat dergelijke automatische interventies bot kunnen overkomen. Lerenden kunnen ontmoedigd raken en wellicht afhaken. Dit kan vooral het geval zijn bij lerenden die als eerste binnen hun familie zijn gaan studeren.

Je kunt deze signalen ook aan begeleiders geven. Zij kunnen dan beslissen of en hoe zij interveniëren. Deze begeleiders kunnen bijvoorbeeld ook middelen beschikbaar stellen voor hulp (zoals bijles). Begeleiders kunnen bijvoorbeeld ook over dashboards beschikken die hen zicht geven op de voortgang. Als je over weinig data beschikt, wordt het lastig om patronen te herkennen en daar wat mee te doen, schrijft Young. De eindconclusie van deze bijdrage luidt:

This is still an area needing significant research, and we hope that some of the lessons we learn can not only help our advising/coaching, but also provide some information that helps with quality course design.

Mijn opmerkingen

Interessant om te zien dat ‘klikgedrag’ niet altijd meerwaarde heeft ten opzichte van administratieve data. Maar als je dus over weinig administratieve data beschikt, is wel sprake van toegevoegde waarde. Verder bevat Young’s artikel terecht waarschuwingen ten aanzien van automatisch verstuurde notificaties op basis van patronen in studiegedrag. Daarmee kun je de plank flink mis slaan. Dit hangt volgens mij erg af van de inhoud en de ‘tone of voice‘ van het bericht. Begeleiders hebben uiteraard, als het goed is, meer zicht op de persoonlijke omstandigheden van een lerende die ertoe kunnen leiden dat een lerende (tijdelijk) minder actief is. Een systeem voor analyses van data kent die omstandigheden niet.

This content is published under the Attribution 3.0 Unported license.