Technologische ontwikkelingen zouden parallel moeten lopen aan ‘institutionele’ ontwikkelingen. Het is de vraag of dit bij learning analytics wel het geval is.
Andrea Kisa Nixon heeft een tijd geleden voor de Educause Review een kritische reflectie geschreven over learning analytics. Zij meent m.i. terecht dat mensen die zich binnen het onderwijs bezig houden met ICT een belangrijke rol hebben als het gaat om de koppeling van nieuwe technologie aan behoeften van de organisatie en in het onderscheiden van hype van realistische onderwerpen. Learning analytics is volgens haar in dit verband een ingewikkeld thema.
Learning analytics heeft de potentie om een bijdrage te leveren aan kwaliteitsverbetering van het onderwijs, en het verbeteren van het studiesucces. Data uit verschillende systemen kunnen worden geanalyseerd om bijvoorbeeld te achterhalen welke lerenden moeite hebben met hun studie of welke structuren binnen de organisatie niet bijdragen aan de veronderstelde doelen. We weten alleen nog niet op welke manieren het analyseren van data over kenmerken van lerenden en hun gedrag kan leiden tot verbeteringen van leeromgevingen. Of kunnen leiden tot meer inzicht in de keuzes die lerenden maken.
Een groot probleem bij learning analytics is een gebrek aan transparantie. De gehanteerde tools maken niet duidelijk welke algoritmes of statistische modellen er worden gebruikt bij de analyses. Het resultaat van een analyse kan bijvoorbeeld een lijst met ’risicovolle lerenden’ zijn, waarbij je niet precies weet hoe die lijst tot stand is gekomen. Je kunt dus niet controleren of de analyse niet mankementen vertoont, en of er wel sprake is van correlaties en causaliteiten. Veel onderwijsonderzoekers hebben daarom moeite met het gebruik van learning analytics.
Professionals die zich bezig houden met ICT in het onderwijs zouden daarom moeten waarschuwen voor het doen van forse investeringen op dit terrein. Technologie maakt analyses mogelijk. Maar zijn organisaties er in meerdere opzichten klaar voor om acties te ondernemen die daadwerkelijk leiden tot betere resultaten van lerenden?
Andrea Kisa Nixon wijst in dit verband op de Council for Big Data, Ethics, and Society waar onderzoekers zich bezighouden met methodologische en ethische vraagstukken rond ‘big data’. Verder zijn er andere modellen die gebruikt kunnen worden voor het onderzoeken van
unintended biases that may arise in algorithmically based decision making.
Nixon adviseert bij het nemen van beslissingen over systemen vooral er voor te waken dat deze systemen bijdragen aan het succes van lerenden binnen onderwijsinstellingen. Het gaat immers niet om het gebruik van grote hoeveelheden educatieve data en de inzet van analyse-tools. Er moet altijd sprake zijn van een koppeling aan organisatieontwikkeling waar curriculumontwikkeling, didactiek maar bijvoorbeeld ook ethiek deel van uit maken.
Ik herken veel in deze reflectie. Veel hangt inderdaad af van wat je met de analyses doet. Gebruik je analyses als indicatie om bijvoorbeeld in gesprek te gaan met studenten? Achter data van een student kan een heel verhaal schuil gaan.
Of neem je verstrekkende maatregelen op basis van een puur kwantitatieve benadering. Bijvoorbeeld: student X , Y en Z zijn hopeloze gevallen waar we daarom maar beter geen energie in kunnen steken. Student H, J en K kunnen met extra begeleiding waarschijnlijk binnen boord gehouden worden.
De kwantitatieve benadering zal dan ook gekoppeld moeten worden met een kwalitatieve benadering van learning analytics.
This content is published under the Attribution 3.0 Unported license.
Geef een reactie