Universitair docent Erwin van Vliet van de Universiteit van Amsterdam (UvA) ontwikkelde een learning analytics dashboard genaamd IguideME om studenten en docenten inzicht te geven in de voortgang van het leerproces. Het is de bedoeling dat studenten hiermee gepersonaliseerde feedback krijgen. Wat vind ik daar van?
Van Vliet zou hij het liefst via het meester-gezelprincipe lesgeven en studenten persoonlijk begeleiden. Bij 300 studenten is dat niet mogelijk. Daarom heeft hij gekeken hoe je bij grootschalig onderwijs gepersonaliseerde feedback kunt geven.
Het met NRO-gelden ontwikkelde IguideME-dashboard heeft als doel gepersonaliseerde feedback te geven aan studenten zonder extra werk voor docenten. Het dashboard gebruikt bestaande data uit de online leeromgeving en geeft niet alleen achteraf feedback, maar ook gedurende het leerproces. Het vergelijkt de inspanningen en resultaten van studenten met die van een peer group. Deze peer groups zijn samengesteld op op basis van het doelcijfer dat studenten zelf aangeven: welk eindcijfer willen ze behalen voor de cursus? Via een grafiek zien de studenten hoe zij presteren ten opzichte van hun peers op aspecten zoals onder meer leestijd, aanwezigheid gedurende colleges, en aantal gemaakte opdrachten. Met behulp van artificial intelligence (AI) wordt ook het eindcijfer voorspeld. Het dashboard helpt docenten ook om vroegtijdig te signaleren welke studenten achterlopen en biedt feedback over het ontwerp van hun cursus.
Om de effectiviteit van IguideME te testen, verdeelde Van Vliet studenten in twee groepen: één met toegang tot de tool en één zonder. Voor en na de cursus vulden studenten een gevalideerde vragenlijst in over hun studiegedrag. De resultaten toonden significante verschillen tussen de twee groepen: studenten met toegang tot IguideME vertoonden meer zelfgestuurd leergedrag en gaven aan meer gemotiveerd te zijn om te studeren. Het onderzoek suggereert ook dat de tool ook een positieve invloed heeft op het begrip van de stof en het formuleren van betere teksten.
IguideME wordt momenteel breder uitgerold op de UvA, de Vrije Universiteit Amsterdam (VU) en de Rijksuniversiteit Groningen (RUG). Het is een open source tool die gekoppeld kan worden aan alle digitale leeromgevingen. Van Vliet hoopt dat IguideME uiteindelijk ‘de gouden standaard’ wordt voor alle soorten (online) onderwijs, van mbo tot universitair onderwijs.
Mijn opmerkingen
- Ik lees niets over de keuze voor de datapunten die worden gemeten. Zit daar een model of theorie achter?
- Studenten krijgen vooral cijfers te zien die iets zeggen over hun voortgang. Inzicht in voortgang is op zich prima. Feedback geeft echter informatie over waar je als student staat. Je krijgt houvast bij het behalen van leerdoelen, het zet aan tot denken en nodigt uit tot actie. Ik vraag me af of deze cijfers dat doen. Er is een verschil tussen inzicht in de voortgang en feedback.
- Als docent kun je deze data gebruiken voor het geven van begeleiding. Ik ben groot voorstander van het geven van relevante data aan deskundige docenten voor het geven van begeleiding. Je moet echter ook vooral kijken naar het verhaal achter de cijfers. Je moet in staat zijn de cijfers te interpreteren en te gebruiken. Dat moet je dan toch eigenlijk met 300 studenten doen.
- Ik vraag me af of in het artikel bewust wordt gekozen voor de term ‘gepersonaliseerd’ in plaats van ‘persoonlijk’. Volgens mij heeft Stephen Downes het verschil hiertussen ooit vergelijken met ‘karamel’ en ‘gekaramelliseerd’.
- Er is gebruik gemaakt van zelfrapportage over studiegedrag. Dat is niet de meest betrouwbare methode. Wellicht is hierbij ook sprake van het ‘novelty effect’ (effecten van nieuwe technologie zijn positief, maar zwakken na verloop van tijd af).
- De invloed op leerresultaten vind ik interessant. Wellicht is enig zicht op de voortgang beter dan geen zicht, maar zou kwalitatieve feedback nog beter werken.
- Hadden studenten ook de keuze om data niet zichtbaar te laten maken in het IguideME-dashboard? Indien ja: dan zijn het mogelijk de meest gemotiveerde en beste studenten die zich laten monitoren.
- Er is meer bewijs nodig om de effectiviteit van het IguideME-dashboard in verschillende onderwijscontexten en vakken te valideren. Hoewel de huidige resultaten bemoedigend zijn, is het belangrijk wat het effect van dit dashboard is uiteenlopende situaties en met diverse doelgroepen.
- De effectiviteit van het IguideME-dashboard kan afhangen van de betrokkenheid en het enthousiasme van docenten bij het implementeren en gebruiken van de tool.
- Moeten we niet van heel grootschalig onderwijs af? Moeten we niet uitkijken dat overspannen verwachtingen ten aanzien van deze dashboards niet juist afleiden van het werkelijke probleem (weinig docenten die veel studenten moeten begeleiden)?
This content is published under the Attribution 3.0 Unported license.
Geef een reactie