Onderwijsinstellingen gebruiken vaak software die bepaalde medewerkers erop attenderen als leerlingen op bepaalde ‘risicovolle’ woorden zoeken, en die toegang tot bepaalde websites blokkeren. Daarbij wordt gebruik gemaakt van algoritmen zodat de software bijvoorbeeld automatisch bepaalt welke websites wel of niet worden geblokkeerd. Deze algoritmen bevatten echter een ernstige vorm van ‘bias’, met serieuze gevolgen. Dat blijkt uit een onderzoek van de tech-website Motherboard.
Motherboard schrijft dat in de VS er een heuse ‘child surveillance’ industrie is ontstaan. De federale Children’s Internet Protection Act uit 2000 heeft daar mede toe bijgedragen. Scholen en bibliotheken krijgen geen subsidie als zij geen websites filteren.
Daarom gebruiken deze instellingen software die hen in staat stelt websites te filteren en functionarissen, belast met veiligheid, te notificeren als leerlingen bijvoorbeeld informatie zoeken over het produceren van explosieven.
In het begin moest je handmatig invoeren welke websites geblokkeerd moesten worden. Daarbij ging het in eerste instantie vooral om pornosites. Op een gegeven moment zijn de ontwikkelaars van de software algoritmen gaan gebruiken om websites automatisch te blokkeren.
Volgens Motherboard falen deze algoritmen echter. Mede op basis van eigen onderzoek constateert de tech-website dat de software leerlingen wel toestaat om websites van de racistische Ku Klux Klan te bezoeken, maar niet om educatieve informatie over bijvoorbeeld homoseksualiteit op te zoeken.
Motherboard concludeert dat de software ouders een vals gevoel van veiligheid geeft, en leerlingen belangrijke informatie ontzegt. Leerlingen die bijvoorbeeld worstelen met vragen ten aanzien van hun seksualiteit, krijgen geen gelegenheid om op een veilige manier informatie te vergaren. Daarnaast zou het blokkeren van informatie over lesbisch, gay, biseksueel, transgender, queer, intersekse, aseksueel en panseksueel ook indruisen tegen het verbod om te discrimineren.
Er zijn scholen die vervolgens de software proberen te trainen om dergelijke websites wel toe te laten. Het zou echter de ed tech-industrie moeten zijn die deze ‘bias’ ongedaan maakt en de algoritmen echt slim maakt zodat de betreffende software doet wat ie doen moet. Je moet bijvoorbeeld wel instaat zijn om informatie over kinderporno te raadplegen, maar echte kinderporno te blokkeren.
Motherboard wijst er echter op dat zelfs tech-giganten als Facebook en Google, die geavanceerde vormen van machine learning gebruiken, moeite hebben om haatdragende taal te identificeren en discriminatie door algoritmen te voorkomen.
Nota bene: ik ben benieuwd of deze blogpost dankzij het gebruik van bepaalde termen nu ook geblokkeerd wordt.
This content is published under the Attribution 3.0 Unported license.
Geef een reactie