Wat moet er precies worden beoordeeld wanneer menselijke cognitie door een algoritme kan worden versterkt of gesimuleerd? Daarover gaat het artikel “ChatGPT is in classrooms. How should educators now assess student learning?” van Sarah Elaine Eaton, Beatriz Antonieta Moya Figueroa, Rahul Kumar en Robert Brennan. De auteurs kijken voornamelijk naar de gevolgen voor toetsen en beoordelen. Dat is jammer.
Het artikel is gebaseerd op een kwalitatief onderzoek onder 28 docenten aan Canadese instellingen voor hoger onderwijs. Volgens de auteurs bevinden we ons op een kantelpunt in het onderwijs, waarbij het gebruik van generatieve AI-toepassingen door lerenden belangrijke vragen oproept over wat er eigenlijk getoetst en beoordeeld moet worden als menselijke cognitie kan worden aangevuld of gesimuleerd door een algoritme.
Eaton cs beschrijven generatieve AI als een tweesnijdend zwaard voor onderwijsinstellingen. Aan de ene kant zijn de taalmodellen zo ver ontwikkeld dat docenten het steeds moeilijker vinden om te bepalen of werk door een lerende of door een AI-toepassing is geproduceerd. Bovendien kunnen deze tools onjuiste informatie presenteren als feit, of sociale vooroordelen uit hun trainingsdata reproduceren. Aan de andere kant laat eerder onderzoek zien dat generatieve AI het leren inclusiever kan maken; bijvoorbeeld als ondersteuning voor lerenden met een beperking of voor wie het Engels een tweede taal is.
De deelnemers aan het onderzoek positioneerden zichzelf niet als handhavers van regels, maar als bewakers van integer leren. Hun aandacht richtte zich op het onderscheid tussen AI-gebruik dat leren ondersteunt en AI-gebruik dat leren vervangt. Daarbij identificeerden zij drie domeinen waarop toetsing opnieuw moet worden doordacht: prompting, kritisch denken en schrijven.
Prompting -het formuleren van gerichte instructies voor een large language model- wordt door de onderzochte docenten beschouwd als een zelfstandige, toetsbare vaardigheid. Effectief prompten vereist dat lerenden een taak kunnen ontleden, concepten begrijpen en precies kunnen formuleren wat ze willen weten. Onduidelijke prompts leveren doorgaans ook onduidelijke resultaten op. Daardoor worden lerenden gedwongen na te denken over wat ze eigenlijk bedoelen. Prompting werd als ethisch beschouwd wanneer het transparant gebeurt en voortbouwt op eigen voorkennis; zonder die voorwaarden dreigt volgens de respondenten overafhankelijkheid of onkritisch gebruik.
Op het gebied van kritisch denken zagen de aan het onderzoek deelnemende docenten juist kansen. Omdat large language modellen teksten kunnen produceren die plausibel klinken maar fouten, omissies of verzinsels kunnen bevatten, moeten lerenden leren de juistheid, samenhang en geloofwaardigheid van AI-gegenereerde inhoud te beoordelen. Verschillende docenten gebruikten AI-gegenereerde samenvattingen of argumenten als uitgangspunt voor kritische analyse. Volgens de auteurs is dit in lijn met de bredere behoefte om lerenden voor te bereiden op een werkpraktijk waarin het beoordelen van AI-gegenereerde informatie een routinetaak zal zijn.
Het meest omstreden domein bleek schrijven. Docenten maakten een duidelijk onderscheid tussen drie vormen van het gebruik van AI-technologie bij schrijven:
- brainstormen met generatieve AI was acceptabel als startpunt, mits de lerende eigen ideeën ontwikkelde;
- AI gebruiken voor redactie of grammaticacorrectie was toegestaan nadat een lerende een eigen tekst had geproduceerd;
- het laten genereren van argumenten of lopende tekst door een large language model werd door de deelnemers impliciet afgewezen.
De respondenten beschouwden de fase van schrijven als een specifiek menselijk denkproces dat door lerenden zelf doorlopen moet worden. Het is een risico als lerenden de productieve worsteling die bij schrijven hoort omzeilen door te snel naar AI-ondersteuning te grijpen. Het is immers juist deze worsteling die bijdraagt aan het ontwikkelen van origineel denken.
De auteurs introduceren in hun bijdrage ook het begrip “post-plagiarism era”. Dat is de tijd waarin samenwerken met generatieve AI-toepassingen bij schrijven en creëren niet automatisch gelijkstaat aan plagiaat. Dit vraagt volgens hen om een heroverweging van wat auteurschap en originaliteit betekenen. Zij formuleren op basis van hun onderzoek tenslotte vijf ontwerpprincipes voor valide toetsing:
- maak verwachtingen over AI-gebruik expliciet,
- evalueer het leerproces in plaats van alleen het eindproduct,
- ontwerp toetsopdrachten die menselijk oordeel vereisen,
- leer lerenden de beperkingen en biases van AI-toepassingen te herkennen,
- en geef de eigen stem van de lerende een centrale plek bij toetsen en beoordelen (bij toetsen moet de nadruk liggen op hoe lerenden tot hun kennis komen, in plaats van op wat ze weten).
Mijn opmerkingen
Het onderzoek is kleinschalig -28 docenten, uitsluitend in Canada- en kwalitatief van opzet. De bevindingen zijn daarmee indicatief, niet representatief. Toch zijn de geschetste onderwerpen breed herkenbaar. De driedeling prompting–kritisch denken–schrijven biedt een bruikbaar kader voor gesprekken binnen onderwijsteams over wat wel en niet toelaatbaar is bij het gebruik van generatieve AI-toepassingen. De vijf ontwerpprincipes zijn herkenbaar en sluiten aan op bestaande inzichten rond formatief handelen, al wil je uiteindelijk ook beoordelen of lerenden in staat zijn de leerinhoud op een voldoende manier te te passen.
Wel vind ik het jammer dat de focus van de bijdrage op toetsen en beoordelen ligt. Het opnieuw tegen het licht houden van toetsen en beoordelen, als gevolg van de adoptie van AI-technologie, is noodzakelijk, maar niet voldoende. Generatieve AI heeft gevolgen voor het gehele curriculum: niet alleen voor de manier waarop je toetst, maar ook voor wat je toetst, wat je doceert en waarom. Leerdoelen die voorheen vanzelfsprekend waren, zoals het zelfstandig kunnen produceren van een samenvatting of het schrijven van een betoog, moet je nu herzien omdat large language modellen die taken zeer snel en over het algemeen adequaat kunnen uitvoeren. Hetzelfde geldt voor leerinhouden: welke bekwaamheden blijven relevant, welke verliezen aan gewicht en welke nieuwe bekwamen komen daarvoor in de plaats of moeten meer aandacht krijgen? Wat betekent dat voor je didactiek, voor de rol van de docent, voor de leertechnologieën die je gebruikt, enzovoorts.
Een handig raamwerk om dit bredere vraagstuk te structureren is het curriculaire spinnenweb van Jan van den Akker (zie afbeelding). Dat model beschrijft een curriculum langs tien samenhangende componenten, waaronder leerdoelen, leerinhouden, toetsing, didactische aanpak en de rol van de docent. De kracht van het spinnenweb is dat het zichtbaar maakt hoe wijzigingen in één component doorwerken in de andere. Wie alleen de toetsvorm aanpast zonder de leerdoelen of leerinhouden te herzien, creëert al snel een inconsistent curriculum. Generatieve AI vraagt dus om een integrale curriculumherziening, niet om een reeks losse aanpassingen.
Mijn bronnen over (generatieve) artificiële intelligentie
Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie.
Geef een reactie