Evaluaties door lerenden kunnen waardevol zijn, maar pakken ook vaak negatief uit. Bij de Australische Queensland University of Technology gebruiken ze artificiële intelligentie om bruikbare feedback van lerenden op het onderwijs te genereren.
Als onderwijsinstellingen het onderwijs evalueren, dan zien docenten de opmerkingen die lerenden dikwijls anoniem maken vaak met vrees tegemoet. Australisch onderzoek laat bijvoorbeeld zien dat feedback van lerenden neerkomt op het maken van persoonlijk vernietigende, lasterlijke, beledigende en kwetsende opmerkingen (bijvoorbeeld over het uiterlijk van docenten).
Drie medewerkers van de Queensland University of Technology schrijven in We have developed a way to screen student feedback to ensure it’s useful, not abusive (and academics don’t have to burn it) dat zij een systeem voor het screenen van teksten hebben ontwikkeld dat gebruik maakt van machine learning. Dit systeem laat lerenden over hun ervaringen praten en beschermt docenten tegen ongepaste opmerkingen.
De ontwikkelaars wilden bij het ontwikkelen van dit systeem het welzijn van personeel en lerenden bevorderen, de betrouwbaarheid en validiteit van feedback van lerenden verbeteren, en de integriteit van de enquêteresultaten verbeteren.
Zij hebben daartoe het systeem, ‘Screenomatic’, getraind met onderzoek naar het detecteren van vrouwonvriendelijke tweets . Opmerkingen van lerenden blijken namelijk vaak ongeveer even lang te zijn als de limiet van 280 karakters van een tweet. Screenomatic bekeek in 2021 automatisch meer dan 100.000 opmerkingen van lerenden en identificeerde de opmerkingen die op misbruik leken te duiden.
Vervolgens hebben getrainde medewerkers die zich bezig hielden met evaluaties handmatig ongeveer 7.000 gemarkeerde opmerkingen beoordeeld. Na elk semester werd het gebruikte machine-learning model bijgewerkt. Op basis hiervan werden 100 opmerkingen verwijderd voordat de resultaten werden vrijgegeven aan docenten en leidinggevenden. Lerenden die ongepaste opmerkingen maakten, werden vervolgens hierop aangesproken.
Volgens de auteurs van deze bijdrage kan Screenomatic helpen om docenten en studenten in bescherming te nemen. Docenten worden beschermd tegen misbruik, bij lerenden kun je analyseren of zij risico lopen. Gemaakte opmerkingen kunnen duiden op een behoefte aan psychische hulp, kunnen beschuldigingen van pesten of intimidatie bevatten, of zelfs bedreigingen aan het adres van medewerkers en andere lerenden. Volgens de ontwikkelaars kan dit systeem ook verder worden doorontwikkeld als onderwijsinstellingen data uitwisselen om het model te trainen en actueel te houden.
Je kunt met behulp van deze AI-toepassing inderdaad het kaf van het koren scheiden. Wel vraag ik me af of je nagenoeg alle ongepaste opmerkingen kunt verwijderen als je het systeem traint op vrouwonvriendelijkheid. Hoe zit het bijvoorbeeld met racistische opmerkingen of met niet onderbouwde negatieve opmerkingen over de expertise van een docent?
De AI-toepassing biedt volgens mij ook geen oplossing voor een andere tekortkoming van onderwijsevaluaties door lerenden: het risico dat populariteit verward wordt met kwalitatief hoogwaardig onderwijs.
This content is published under the Attribution 3.0 Unported license.
Geef een reactie