Herkennen docenten teksten die door AI zijn gegenereerd? | WilfredRubens.com over leren en ICT

Binnen het onderwijs zijn er de nodige zorgen als het gaat om het beoordelen van teksten die door lerenden met behulp van generatieve AI zijn geschreven. Je beschikt niet over technologische hulpmiddelen om dit op een betrouwbare manier te checken. Maar kun je dit dan als docent niet herkennen op basis van jouw expertise? Dat blijkt tegen te vallen, blijkt uit onderzoek.

Afbeelding van een robot en een mens die beiden een tekst schrijven. — DALL-E: afbeelding van een robot en een mens die beiden een tekst schrijven.

Fleckenstein en collega’s hebben twee studies uitgevoerd met als hoofdvragen:

1. Kunnen docenten AI-gegenereerde teksten onderscheiden van teksten die door lerenden zijn geschreven?
2. Hoe zeker zijn docenten in het identificeren van de bron?
3. Hoe beoordelen docenten tekstkenmerken zoals algehele kwaliteit, taal, structuur en inhoud in relatie tot hun veronderstelde en werkelijke bron?

In Studie 1 onderzochten zij deze onderzoeksvragen bij een steekproef van docenten in opleiding met weinig onderwijservaring en Engels als vreemde taal. In Studie 2 hebben zij onderzoek gedaan bij meer ervaren docenten met Engels als moedertaal.

Eén van de aanleidingen voor deze studies is dat in de literatuur suggesties worden gedaan over hoe te checken of teksten door generatieve AI zijn gegenereerd. Specifieke patronen en onregelmatigheden in de taal en onwetendheid over de context kunnen wijzen op AI, terwijl grammatica- en spelfouten meestal voorkomen in teksten geschreven door mensen. Er is echter volgens de onderzoekers nog geen empirisch bewijs over hoe moeilijk het werkelijk is voor docenten om AI-gegenereerde teksten te identificeren en hoe zij deze teksten beoordelen in vergelijking met werk van lerenden. De studies van Fleckenstein cs willen voorzien in deze onderzoeksleemte.

Bronidentificatie en vertrouwen

Beide studies laten zien dat docenten in opleiding en ervaren docenten moeite hadden met het maken van een onderscheid tussen AI-gegenereerde teksten en teksten geschreven door lerenden. Docenten in opleiding konden de bron van de teksten niet correct identificeren, ongeacht of ze door lerenden of door AI waren geschreven en ongeacht het kwaliteitsniveau van de tekst. Ervaren docenten konden zwakke teksten niet correct identificeren, maar waren succesvoller bij het beoordelen van kwalitatief goede teksten. Dit komt deels doordat zij de meeste zwakke teksten als werk van lerenden beoordeelden. De onderzoekers schrijven dat ervaren docenten waarschijnlijk beter in staat zijn om te herkennen wanneer goede teksten door AI zijn geproduceerd, maar niet superieur zijn in het identificeren van de bronnen van zwakke teksten. Een verklaring kan zijn dat ervaren docenten zich mogelijk niet voorstellen dat computers ook zwakke teksten kunnen schrijven, inclusief eenvoudige grammatica- of spelfouten. Volgens de onderzoekers onderstreept dit de noodzaak om docenten vertrouwd te maken met de mogelijkheden van AI.

Beoordeling van de kwaliteit van de tekst

Fleckenstein cs schrijven dat docenten in beide studies AI-gegenereerde teksten niet positiever beoordeelden dan teksten die door lerenden waren geschreven. Ervaren docenten gaven hogere scores aan AI-gegenereerde teksten wanneer de kwaliteit hoog was. Een mogelijke verklaring is dat teksten die door lerenden waren geschreven tekortkomingen bevatten omdat ze in een vreemde taal zijn geschreven. De verschillende beoordelingen van de twee soorten teksten leidde niet tot een betere herkenning van de bron. Kenmerken van de teksten die er toe bijdroegen dat docenten door AI gegenereerde teksten positiever beoordeelden, hielpen niet bij het identificeren van de bron.

Implicaties

Het feit dat docenten het verschil tussen door lerenden geschreven en door AI gegenereerde teksten niet kunnen zien, heeft volgens de onderzoekers implicaties voor het onderwijs. Bij het bepalen van evaluatiecriteria moet je er volgens Fleckenstein cs rekening houden met de aanwezigheid van AI-gegenereerde teksten. Docenten moeten volgens de onderzoekers mogelijk hun onderwijs- en beoordelingsstrategieën heroverwegen. Daarnaast is er behoefte aan uitgebreide voorlichting over ‘academische integriteit’ en verantwoordelijk AI-gebruik om ervoor te zorgen dat lerenden zich bewust zijn van de ethische implicaties van het gebruik van AI-tools binnen het onderwijs.

Mijn opmerkingen

Mogelijk is het opleidingsniveau van lerenden ook van invloed op zaken als bronidentificatie, en zijn meer ervaren docenten in het middelbaar beroepsonderwijs eerder in staat om te herkennen als een tekst niet door hun studenten is geschreven, dan bijvoorbeeld docenten van een masteropleiding. Daar komt bij dat het nogal wat uit kan maken in welke taal de tekst gegenereerd is. Het maakt nogal wat uit of een tekst Engelstalig is of Nederlandstalig. Nederlandstalige teksten, die door generatieve AI zijn geschreven, kenmerken zich vaak door een Amerikaanse stijl die zich uit in termen als ‘diepgaand’ of ‘cruciaal’. Je kunt dit overigens wel beïnvloeden door in de ‘prompt’ of GPT/Gem aan te geven dat rekening gehouden moet worden met de Nederlandse cultuur.

Andere bronnen over generatieve AI

Mijn bronnen over (generatieve) artificiële intelligentie

Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie, zoals ChatGPT.

This content is published under the Attribution 3.0 Unported license.

Geef een reactie