De bijdrage ‘Teachers Are Using Software To See If Students Used AI. What Happens When It’s Wrong?‘ plaatst vraagtekens bij de uitgaven van Amerikaanse onderwijsinstellingen aan AI-detectietools. Zelfs als docenten deze toepassingen inzetten als start van een gesprek over het werk van lerenden.
Het artikel gaat aan de hand van een aantal cases van lerenden en docenten in op de vraag of AI-detectietools wel gebruikt moeten worden.
Alisa Ostovitz werd tijdens een schooljaar drie keer beschuldigd van AI-gebruik bij huiswerkopdrachten, terwijl ze zelf zegt alles met de hand te hebben geschreven. Ostovitz kreeg van een docent een screenshot te zien van een detectietool dat een kans van 30,76% aangaf dat ze AI had gebruikt bij een opdracht over de muziek die ze graag beluistert. Ze vroeg de docent een andere detector te proberen, maar kreeg geen reactie en haar cijfer werd verlaagd. Pas na een gesprek tussen haar moeder en de docent, weken later, trok de docent de beschuldiging in. Het schooldistrict laat weten dat de betreffende docent de tool op eigen initiatief gebruikte en dat het district zelf geen detectiesoftware financiert; docenten wordt juist afgeraden erop te vertrouwen vanwege gedocumenteerde onnauwkeurigheden.
Volgens een representatieve peiling van de Center for Democracy and Technology gebruikte meer dan 40% van de ondervraagde docenten in de Amerikaanse groepen 6 tot en met 12 vorig schooljaar AI-detectietools. Onderzoeker Mike Perkins van British University Vietnam stelt dat het in het veld van ‘academische integriteit’ inmiddels breed erkend wordt dat deze tools niet geschikt zijn voor hun doel. Zijn onderzoek naar populaire detectors als Turnitin, GPTZero en Copyleaks liet zien dat teksten zowel ten onrechte als AI werden aangemerkt als ten onrechte als menselijk werk, en dat de nauwkeurigheid verder afneemt zodra AI-tekst enigszins wordt bewerkt.
Deze beperkingen blijken ook uit een aantal cases. Zi Shi, wiens eerste taal Mandarijn is, vreest dat zijn beperkte woordenschat en herhaling van woorden zijn tekst laten lijken op AI-tekst. Onderzoek naar mogelijke vertekening van teksten van mensen waarvan een betreffende taal niet de moedertaal is, is volgens het artikel nog beperkt en niet eenduidig. Docent Carrie Cofer uit Cleveland liet als test een hoofdstuk van haar eigen proefschrift door GPTZero scannen. Dat leidde tot een score van 89 tot 91% AI-gegenereerde tekst. Ze zet vraagtekens bij de besteding van schoolgeld aan dergelijke software en pleit ervoor te investeren in de vaardigheden van docenten zelf.
Toch blijven grote schooldistricten investeren in deze software. Broward County Public Schools bij Miami, met meer dan 230.000 lerenden een van de grootste districten van de Verenigde Staten, betaalt ruim 550.000 dollar voor een driejarig contract met Turnitin. Directeur innovatief leren Sherri Wilson zegt dat de tool wordt ingezet om gesprekken en feedback te ondersteunen, niet om te beoordelen. Het district is zich bewust van de beperkte betrouwbaarheid. Turnitin zelf meldt op de eigen website dat scores van 20% of lager minder betrouwbaar zijn en dat de uitkomst nooit de enige basis mag zijn voor sancties tegen een lerende.
Docent John Grady gebruikt GPTZero als vertrekpunt voor een gesprek. Bij een gerapporteerde kans van meer dan 50% bekijkt hij aanvullend de bewerkingsgeschiedenis van een document. Volgens Grady erkent ongeveer 75% van de lerenden die hij aanspreekt daadwerkelijk AI te hebben gebruikt. GPTZero-oprichter Edward Tian benadrukt dat zijn tool nooit als enig bewijs mag dienen; de rapportage dient als signaal dat om nader onderzoek vraagt.
Mijn opmerkingen
Ik heb niet het idee dat, anders dan plagiaatdetectietools, AI-detectietools heel veel in ons land worden gebruikt. Al in een vroeg stadium is door diverse deskundigen gewezen op de ernstige beperkingen hiervan. Opvallend is wel dat AI-detectietool Pangram onlangs is gebruikt om opinieartikelen in dagbladen te scannen op AI-gebruik. Dat leidde tot ophef, ook al werden de beperkingen van dergelijke tools onderstreept.
Zelfs als docenten het gebruik van deze tools gebruiken als startpunt voor een gesprek over AI-gebruik, vraag ik me af of je als onderwijsinstellingen budget moet uitgeven aan dergelijk applicaties. Een docent, die de eigen lerenden kent, heeft m.i. best snel door of een tekst door een lerende zelf is geschreven of door een AI-tool. Ook zonder deze tools te gebruiken, kun je het gesprek over dit thema aangaan. Het risico op valse beschuldigingen weegt m.i. zwaar, zeker bij lerenden die toch al kwetsbaar zijn.
Daar komt bij dat het gebruik van AI-tools voor het schrijven van teksten niet persé problematisch hoeft te zijn. Ga dus vooral het gesprek aan wel type gebruik in welke context zinvol is, en welk type gebruik het leren kan belemmeren.
Uiteraard moet je daarbij ook kijken naar de functie van schrijven binnen het curriculum, en de relatie met toetsen en beoordelen. Als we meer nadruk leggen op het leerproces, en als we schrijven ook benaderen als een verwerkingsstrategie, dan zullen lerenden minder geneigd zijn het schrijfwerk over te laten aan AI-tools.
Mijn bronnen over (generatieve) artificiële intelligentie
Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie.
Geef een reactie