Erik Ofgang besteedt in Colleges Are Using AI To Predict Student Success. These Predictions Are Often Wrong aandacht aan een recent onderzoek waaruit blijkt dat AI-modellen die worden ingezet om studiesucces te voorspellen, vaak onjuist uitpakken ten nadele van zwarte en Latijns-Amerikaanse lerenden.
Deze bevindingen zijn volgens Ofgang zorgwekkend, gezien het toenemende gebruik van machine learning (ML) en AI in het onderwijs voor diverse doeleinden, waaronder toelatingsbesluiten en het aanbieden van gerichte ondersteuning.
Het onderzoeksteam, onder leiding van Denisa Gándara van de Universiteit van Texas in Austin, testte vier veelgebruikte Machine Learning-toepassingen die worden gebruikt voor het doen van voorspellingen. Ze trainden deze tools met tien jaar aan gegevens van 15.244 lerenden, afkomstig van het Amerikaanse ministerie van Onderwijs. De resultaten tonen een duidelijke bias:
- Bij witte lerenden voorspelden de modellen in 12% van de gevallen onterecht dat ze niet zouden afstuderen, tegenover 21% voor Latijns-Amerikaanse en 19% voor zwarte lerenden.
- Bij het voorspellen van succes waren de modellen onjuist bij 65% van de witte en Aziatische lerenden, vergeleken met slechts 33% bij zwarte en 28% bij Latijns-Amerikaanse lerenden. Het ging daarbij om onterechte negatieve beoordelingen.
Volgens de onderzoekers kunnen deze fouten verstrekkende gevolgen hebben. Ze kunnen leiden tot oneerlijke beslissingen ten aanzien van toelating, ongepaste onderwijstrajecten voor achtergestelde groepen, en een inefficiënte verdeling van onderwijsmiddelen. Bovendien reikt de invloed van deze voorspellende modellen verder dan het hoger onderwijs; deze modellen worden ook veelvuldig gebruikt in het Amerikaanse basis- en voortgezet onderwijs.
Gándara en collega’s onderstrepen daarom het belang van bewustwording onder eindgebruikers van deze AI-tools, zoals medewerkers die zich bezig houden met toelatingen, studieadviseurs en docenten. Kennis van de mogelijke bias, de richting ervan en de getroffen groepen kunnen volgens hen helpen bij het contextualiseren van voorspellingen en het nemen van beter geïnformeerde beslissingen.
Mijn opmerkingen
Als je kijkt naar de Europese AI Act dan zouden dit type applicaties volgens mij onder de categorie ‘onacceptabel risico’ moeten vallen, en niet onder ‘hoog risico’ waar AI-applicaties in het onderwijs normaliter onder vallen. Dat betekent dat je deze AI-toepassingen binnen de EU niet zou mogen gebruiken. Er is m.i. namelijk sprake van ‘social scoring’.
Het is bekend dat dit type ‘bias’ bij AI-toepassingen voorkomt en dat je dus kritisch moet omgaan met het gebruik ervan. Bij een zo verstrekkende toepassing als ‘studiesucces voorspellen’ is het effect van deze ‘bias’ niet acceptabel. Ofgang schrijft eufemistisch:
When it comes to predicting college success, AI algorithms may have some work to do.
Tot die tijd: experimenteren en onderzoeken, maar niet gebruiken. En, ja, ik weet dat menselijke beoordelaars ook fouten maken en vaak bevooroordeeld kunnen zijn. De mate van onjuistheid van de onderzochte AI-toepassingen is echter zeer fors. Bij systemen hebben mensen bovendien vaak het idee dat ze minder fouten maken. Je kunt mensen ook makkelijker aanspreken op fouten. Ook hebben we een langere historie van het voorkomen van bias bij menselijke beoordelingen. Je kunt bij AI ook vooroordelen voorkomen. Ik vraag me echter af of dit onderwerp hoog op de agenda staat bij ontwikkelaars van dit type toepassingen.
This content is published under the Attribution 3.0 Unported license.
Geef een reactie