Het afgelopen jaar zijn verschillende onderwijsinstellingen op grote schaal online proctoring, het online surveilleren tijdens een toets, gaan toepassen. Deze aanpak is bepaald niet onomstreden. Recent is ook nog eens gebleken dat bepaalde online proctoring software niet-witte studenten discrimineert.
Dankzij COVID-19 zijn studenten niet in staat op locatie deel te nemen aan grootschalige tentamens. Studenten konden wel online tentamens vanuit thuis maken. Om fraude tegen te gaan werd besloten online proctoring toe te passen. Bij verschillende universiteiten en hogescholen leidde dit tot de nodige discussies omdat online proctoring de privacy van studenten zou aantasten.
In de Verenigde Staten wordt recent een ander, zeer ernstig, bezwaar tegen online proctoring gebruikt: de software zou racistisch zijn. Daarbij gaat het om vormen van online proctoring waarbij geen online surveillant van vlees en bloed komt kijken, maar sprake is van geautomatiseerde review. Daarbij checkt een examinator alleen achteraf signalen van “afwijkend gedrag”.
In Proctorio Is Using Racist Algorithms to Detect Faces beschrijft Todd Feathers dat een software onderzoeker heeft ontdekt dat Proctorio -marktleider als het gaat om online proctoring via geautomatiseerde review- gebruikt maakt van een gezichtsherkenningsmodel dat in meer dan 50 procent van de gevallen geen zwarte gezichten herkent. Deze analyse is door een tweede onderzoeker herhaald en bevestigd.
De software herkende zwarte gezichten in 57% van de gevallen niet, Oost-Aziatische gezichten in 37% van de gevallen niet, en Latijns-Amerikaanse gezichten in 33% van de gevallen niet.
Proctorio schijnt gebruik te maken van OpenCV, een open-source computer beelden softwarebibliotheek. Het bedrijf wil dat zelf volgens Feathers niet direct bevestigen, maar verwijst naar informatie waarin wel wordt verwezen naar OpenCV. Proctorio benadrukt volgens Feathers dat men gezichtsdetectie (face detection) in plaats van gezichtsherkenning (face recognition) gebruikt.
Het is al langer bekend dat computersystemen, die gebruik maken van gezichtsherkenning, problemen hebben met het detecteren en correct identificeren van gezichten met een niet-witte huidskleur. Dit is een ernstige vorm van ‘bias’, ook al is sprake van verbeteringen op dit terrein.
De gevolgen hiervan op het gebied van online proctoring zijn ernstig. Studenten moeten zich aan het begin van een tentamen identificeren. In veel gevallen lukt dat zwarte studenten niet, of veel lastiger. Ook lopen zwarte studenten het risico dat een tentamen wordt afgebroken als de software de student niet meer herkent doordat bijvoorbeeld de belichting van het gezicht verandert. Dit leidt tot meer spanningen. Studenten met een niet-witte huidskleur worden hierdoor benadeeld.
Dit maakt het gebruik van deze vorm van online proctoring m.i. voorlopig niet langer ethisch te verantwoorden. Eerst zal deze racistische bias ongedaan gemaakt moeten worden. De bewijslast ligt daarbij wat mij betreft bij de leveranciers van de betreffende software.
Er zijn uiteraard ook vormen van online proctoring die geen gebruik maken van automatische gezichtsherkenning of -detectie. Deze vormen, waarbij een surveillant van vlees en bloed deelnemers aan een toets identificeert, kun je het verwijt van racisme bij gezichtsherkenning niet maken.
This content is published under the Attribution 3.0 Unported license.
Geef een reactie