Hoe herken je AI-teksten zonder technologie?

We beschikken op dit moment niet over tools die op een betrouwbare manier kunnen detecteren of een tekst is geschreven door een AI-toepassing. Daarnaast blijkt uit onderzoek dat zelfs ervaren docenten moeite hebben met het herkennen van teksten die door lerenden met behulp van generatieve AI zijn geschreven. Op basis van drie bijdragen presenteer ik in deze blogpost tips die helpen bij herkennen van deze teksten.

Let wel. Veel van deze tips gaan ervan uit dat lerenden bij het schrijven van teksten geen of nauwelijks gebruik mogen maken van generatieve AI. In de praktijk hoeft het gebruik van generatieve AI geen probleem te zijn. Bijvoorbeeld als lerenden eigen teksten grammaticaal laten verbeteren. Dan is het wel belangrijk dat de docent helder maakt wat wel en niet is toegestaan, en dat de lerende transparant is over hoe de lerende generatieve AI heeft gebruikt. Uiteraard kun je ook andere typen taken/opdrachten gebruiken, dan taken/opdrachten waarbij lerenden veel moeten schrijven.

1. Let op de lengte en inhoud. AI heeft de neiging om overbodig lange, uitgebreide antwoorden te geven. Als een lerende plotseling veel meer schrijft dan gevraagd, kan dit een teken van het gebruik van generatieve AI zijn. Vooral als de tekst lang is, maar toch de kern mist of niet precies aansluit op de opdracht.
2. Kijk naar emotie en persoonlijkheid. AI-teksten missen vaak echte emotie, zelfs als ze over gevoelens gaan. Ze zijn vaak vlak van toon en bevatten vaak clichés. Je kunt het vergelijken met muziek die je in een lift hoort. Een echt persoonlijk verhaal, dat geschreven is door een mens, heeft meer ‘kleur’ en eigenaardigheden. Let ook op of de schrijfstijl past bij de lerende.
3. Check taalgebruik en woordkeus. AI gebruikt vaak bepaalde woorden die lerenden niet snel zouden kiezen, zoals “fundamentally” of “delve”. In Nederlandse teksten kom je bijvoorbeeld termen als “diepgaand” tegen. Ook herhaalt AI zichzelf vaker. Vraag de lerende eens om bepaalde woorden uit te leggen. Je merkt dan snel of ze dat kunnen (al kunnen zij zich hier ook op voorbereiden). Uiteraard kun je als lerende generatieve AI-toepassingen ook vragen op een bepaald ‘niveau’ te schrijven.
4. Controleer grammatica en spelling. Je zou het wellicht niet verwachten, maar door AI gegenereerde teksten zijn vaak té foutloos. Lerenden van vlees en bloed maken kleine foutjes in grammatica of spelling. Een perfect geschreven stuk dat verder niet briljant is, kan wijzen op AI-gebruik. Overigens is het ook zo dat lerenden AI-toepassingen vragen om bewust spellingsfouten te maken.
5. Let op de opmaak. Soms verraadt de opmaak van de tekst AI-gebruik. Rechte aanhalingstekens in een document met een lettertype dat normaal gekrulde aanhalingstekens heeft, kunnen erop wijzen dat de tekst uit ChatGPT is gekopieerd.
6. Vraag bronvermeldingen en let daar op. Door AI-toepassingen gegenereerde teksten bevatten vaak geen bronvermeldingen of vermelden bronnen die niet bestaan of geen relatie hebben met de inhoud van de tekst.
7. Kijk naar de structuur. AI houdt van lijstjes en opsommingen. Het is verdacht als een tekst ineens vol staat met een ongenummerde lijst terwijl dat niet bij de opdracht past. Ook gebruikt AI vaak standaard overgangen tussen alinea’s. Bij Nederlandse teksten gebruiken generatieve AI-toepassingen regelmatig zinsconstructies die Angelsaksisch van aard zijn. Bijvoorbeeld: “De onderzoekers suggereren…”. Of: “Menselijke docenten brengen hun unieke perspectieven, ervaringen en onderwijsstijlen mee, wat bijdraagt aan een rijke en diverse leeromgeving.”
8. Vergelijk met andere inzendingen. Er kan sprake zijn van AI-gebruik bij het schrijven van teksten als meerdere lerenden teksten inleveren die veel op elkaar lijken. AI -toepassingen geven vaak vergelijkbare antwoorden op dezelfde vraag. De teksten zijn niet identiek, maar hebben wel inhoudelijke overeenkomsten. Dit kan vreemd zijn, afhankelijk van de aard van de opdracht.
9. Let op vreemde details. AI kan soms rare fouten maken. Ik heb het al gehad over bronnen. Er kan daarnaast sprake zijn van  anachronismen in een verhaal. Ook kunnen generatieve AI-toepassingen inhoud gaan verzinnen, als de toepassing op basis van de data geen antwoord kan produceren. Dat kan bij specifieke vragen of onderwerpen het geval zijn.
10. Praat met de lerenden. Uiteindelijk is een gesprek de beste manier om erachter te komen of een lerende AI heeft gebruikt, als dat niet de bedoeling is. Vraag naar hun werkproces en laat ze hun keuzes toelichten. Wees open over je vermoedens, maar beschuldig niet zomaar. Uiteraard kan het voorkomen dat je hier niet aan toe komt, bijvoorbeeld als je het werk van veel lerenden moet doornemen en van feedback moet voorzien. Laat dan lerenden dit gesprek met elkaar voeren. Daarnaast is het ook belangrijk dat lerenden weten wat de relevantie is van schrijfopdrachten. De meeste lerenden willen leren, ze hebben echter een broertje dood aan een hordeloop waarvan de de betekenis voor hun ontwikkeling niet zien. Dar moet het gesprek met lerenden dus ook over gaan.

Het achterhalen of een tekst niet is geschreven door een AI-toepassing, als dat niet de bedoeling is, kun je als een mogelijkheid beschouwen in lerenden te leren over verantwoord AI-gebruik. Stimuleer hen transparant te zijn over hoe ze AI inzetten. In een wereld waar AI steeds gewoner wordt, is het bovendien die persoonlijke ’touch’ die waardevol blijft.

Gebruikte bronnen

• Linkedin-post Michelle Kassoria
• 6 Ways Teachers Can Tell Students Are Using AI
• 10 Ways to Detect AI Writing Without Technology

Ik heb uiteraard ook ChatGPT gebruikt om deze blogpost te schrijven.

Mijn bronnen over (generatieve) artificiële intelligentie

Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie, zoals ChatGPT.

This content is published under the Attribution 3.0 Unported license.