Eén van de toepassingen van kunstmatige intelligentie (AI) is ‘voice recognition’. Oftewel stemherkenning. We spreken tegen computersystemen en op basis van stemherkenning voert de computer opdrachten uit. Op deze manier kunnen we de temperatuur in ons huis regelen, auto’s besturen en zoekopdrachten uitvoeren. Bij stemherkenning blijkt echter een belangrijke vorm van ‘bias’ op te treden.
Stemherkenning wordt bijvoorbeeld ook gebruikt bij sollicitatieprocedures en tijdens de afhandeling van administratieve processen, bijvoorbeeld op het gebied van immigratie. Ik kan me ook voorstellen dat lerenden bij online leerprogramma’s antwoorden niet langer intypen, maar inspreken. Essays kunnen ook worden samengesteld via stemherkenning. En uiteraard gebruik je op het gebied van leren ook zoekopdrachten, die dus steeds vaker stemgestuurd zijn.
Er zijn hilarische fragmenten bekend van wat er zoal mis kan gaan bij stemherkenning. Bijvoorbeeld bij het gebruik van slimme technologie in een huis in Zweden of bij het gebruik van ‘voice recognition’ in een lift in Schotland.
Bias
Dit laatste op zich zeer komische voorbeeld maakt echter ook iets pijnlijks duidelijk. Bij het gebruik van stemherkenning is sprake van bias op basis van geslacht en etniciteit. Dat wil zeggen dat stemherkenning bij ‘witte mannen’ onevenredig beter werkt dan bij andere groepen.
Dat blijkt ook uit de bijdrage Voice Recognition Still Has Significant Race and Gender Biases. Joan Palmiter Bajorek schrijft hierin dat stemherkenning, net als bijvoorbeeld gezichtsherkenning, slechter werkt voor vrouwen en niet-witte mensen.
Het gevolg is dat sommige mensen meer kans hebben om toegelaten te worden tot een land, dan anderen. Of dat mannen meer kans hebben om een baan te krijgen dan vrouwen als bij sollicitatieprocedures gebruikt wordt gemaakt van stemherkenning. Binnen de auto-industrie wordt daarom volgens de auteur gesuggereerd dat vrouwen getraind zouden moeten worden (bijvoorbeeld om harder te spreken) en dat minderheden aan hun accent zouden moeten werken. Dat is uiteraard de omgekeerde wereld, meent ook Palmiter Bajorek.
De auteur rekent voor wat de verschillen in prestaties zijn als je een bepaalde tekst dicteert met Google Speech, die 13% accurater blijkt te werken voor mannen dan voor vrouwen. Bij niet-witte mensen is de accuraatheid 10% slechter dan bij witte vrouwen. Indiaas-Engels blijkt een accuraatheid te hebben van 78% en Schots-Engels van 53%.
Dit impliceert dat witte mannen zonder dialect een tekst veel nauwkeuriger kunnen dicteren dan anderen. Anderen zullen de tekst veel meer handmatig moeten aanpassen. Als je stemherkenning bij een toets gebruikt, dan scoren witte mannen significant beter. Niet vanwege hun expertise, maar omdat het systeem beter om kan gaan met hun manier van spreken.
Waar komt deze bias vandaan?
Op deze vraag geeft Joan Palmiter Bajorek ook een antwoord. Het heeft te maken met de manier waarop data analyses, databases en machine learning zijn georganiseerd. Databases blijken voornamelijk data van witte mannen te bevatten. Bij patroonherkenning wordt daarom vooral gekeken naar de manier waarop witte mannen bepaalde zaken uitspreken.
Wat te doen?
Volgens de auteur zouden bedrijven transparanter over de statistieken rond stemherkenning moeten zijn en concurrentie moeten bevorderen. Rapporteer over hoe nauwkeurig je scoort voor diverse doelgroepen. Of maak duidelijk dat je je richt op een specifieke doelgroep.
Wat mij betreft zouden bedrijven vooral moeten investeren in hun databases, in de manier waarop data geanalyseerd worden en in de manier waarop machine learning werkt. Een aantal bedrijven is daar ook mee bezig. Tot die tijd moeten we zeer terughoudend zijn in het gebruik van deze technologie bij het nemen van beslissingen met vergaande gevolgen (zoals beoordelingen). Bij de selectie van leertechnologie, waarbij stemherkenning wordt gebruikt, moeten we vragen naar de mate van accuraatheid voor diverse doelgroepen.
This content is published under the Attribution 3.0 Unported license.
Geef een reactie