Een week geleden heb ik aandacht besteed aan ChatGPT, de verbeterde chatbot van OpenAI die gebaseerd is op het taalmodel GPT-3. Michael Webb van het Nationale Centrum voor AI van JISC reflecteerde al enkele maanden geleden op de vraag: How might AI content generation tools such as GPT-3 disrupt assessment? In deze blogpost illustreer ik dat dergelijke toepassingen niet alleen gevolgen hebben voor het beoordelen, maar ook kansen bieden aan studenten en docenten.
Dankzij taalmodel GPT-3 kun je op basis van korte opdrachten automatisch antwoorden op essayvragen laten produceren, of zelfs volledige essays. Verder kun je wiskundige vraagstukken laten oplossen en ook programmeercode genereren.
GPT-3 doet dat met behulp van een zogenaamde ‘transformer’ en op basis van een enorme trainingsdatabase die onder meer gevuld is met automatisch bij elkaar geschraapte webteksten.
ChatGPT werkt nog niet perfect. Dat komt uiteraard doordat de applicaties gebruik maakt van online data die niet altijd correct zijn, en zelfs desinformatie kunnen zijn. Ook genereert de toepassing geen oneindige hoeveelheid tekst. De chatbot zal steeds beter worden, omdat de applicatie leert van het gebruik. Ook kun je vooralsnog het beste in het Engels met de chatbot communiceren, al kan de toepassing teksten ook in het Nederlands vertalen.
Op dit moment levert ChatGPT al indrukwekkende resultaten op. Zo heb ik de chatbot de vraag gesteld: What are the differences between consequentialism, deontology, and virtue ethics, and how to describe the GDPR based on these theories?
De chatbot vatte eerst de kern samen van de drie benaderingen op het gebied van ethiek, en relateerde vervolgens de betreffende Europese wet op het gebied van gegevensbescherming aan deze theorieën.
Michael Webb geeft ook voorbeelden van dergelijke opdrachten. Zoals: Write an essay about Nikola Tesla and his contributions to technology. In zijn blogpost vind je het resultaat.
De gevolgen van deze applicaties voor het onderwijs kunnen zijn:
1) Studenten gebruiken AI-toepassingen om essays te schrijven en essay-vragen te beantwoorden. Op dit moment is dat mogelijk, afhankelijk van de vraag. Anti-plagiaat software zal moeite hebben met het analyseren van de teksten omdat de chatbot teksten steeds anders formuleert. Webb laat zien dat zij de chatbot eerst een overzicht met hoofdlijnen voor een essay hebben laten maken. Vervolgens hebben zij de onderdelen van deze ‘outline’ apart laten uitwerken.
Het samenstellen van een overzicht kan studenten ondersteunen bij het bschrijfproces. Maar het in eigen tijd en tempo maken van essays als manier van beoordelen wordt dankzij deze applicatie wel minder betrouwbaar. Studenten zullen gemonitord moeten worden als je nog gebruik wilt maken van essays en essayvragen voor het beoordelen. Je kunt er dan voor waken dat zij tools zoals ChatGPT gebruiken.
Een alternatief is dat een docent een gesprek voert met de student over het geschreven essay. Dan kom je er achter of de student de inhoud echt heeft begrepen en weet hoe de inhoud toegepast moet worden. Dit is echter ondoenlijk als je les geeft aan veel studenten.
2) Studenten gebruiken deze applicaties om teksten opnieuw te formuleren. Daarmee voorkomen zij dat zij betrapt worden op plagiaat. Anti-plagiaat software wordt overbodig. Ook dit vergroot de noodzaak van monitoring tijdens het maken van essays, als je wilt voorkomen dat studenten teksten van anderen gebruiken.
3) Studenten leren vooral ook wat goede vragen zijn, welke vragen zinvolle resultaten opleveren. Het formuleren van goede vragen is op zich ook een belangrijke vaardigheid.
4) Studenten maken kennis met applicaties die zij binnen hun professie ook zullen gaan gebruiken. De opmars van dergelijke applicaties binnen tal van werkvelden zet immers door.
5) Studenten gebruiken deze toepassingen om teksten te genereren en vergelijken de output vervolgens met datgene wat zij hebben bestudeerd in de literatuur. Je kunt ChatGPT bijvoorbeeld een tekst laten genereren over het verval van het Romeinse Keizerrijk. Studenten kunnen het resultaat vergelijken met een presentatie, video of hoofdstuk over dit onderwerp. Wat zijn overeenkomsten, wat zijn verschillen? Dit is een actieve manier van verwerken van leerstof. Bovendien verbeteren studenten ook hun Engelse taalvaardigheden.
6) Studenten kunnen AI-toepassingen gebruiken voor het maken van samenvattingen van concepten en theorieën, als zij onderzoek doen. Ook nu is het van belang om de output te checken op kwaliteit.
7) Studenten kunnen feedback vragen aan de chatbot over teksten die zij hebben geschreven (provide feedback on the following text). Deze toepassing kan docenten ook werk uit handen nemen. Hier zie je een voorbeeld:
Op dit moment is automatische feedback generiek van aard. ChatGPT zal automatische feedback meer specifiek en persoonlijk maken.
8) Studenten kunnen referenties door de chatbot laten omzetten in APA-stijl (Translate these references in APA-style).
9) Het maken van een ‘outline’, het maken samenvattingen of het omzetten van referenties in APA-stijl wordt in dit Guardian-artikel “cognitive offloading” genoemd: je gebruikt een hulpmiddel om de mentale last van een taak te verminderen.
10) Het wordt nog belangrijker om te investeren in de informatievaardigheden van studenten. Zij moeten nooit klakkeloos automatisch gegenereerde teksten voor waar aan nemen omdat deze gebaseerd kunnen zijn op desinformatie. Dit is mogelijk ook afhankelijk van de aard van de vraag. Ik kreeg overigens een heel verstandig antwoord op de vraag: Is it vital for a healthy adult to be vaccinated against Covid-19?
11) Docenten kunnen deze applicaties gebruiken voor het genereren van toetsvragen (bijvoorbeeld multiple choicevragen) met antwoorden en feedback. Zij zullen de output moeten checken op kwaliteit, en eventueel aanpassen. Toch kan dit docenten de nodige tijd schelen.
12) Docenten kunnen deze applicaties gebruiken voor het beoordelen van teksten die door studenten zijn gegenereerd. Dit kan docenten ook veel tijd besparen. Je kunt de chatbot bijvoorbeeld de volgende vraag stellen:
Samenvattend
AI-tools die in staat zijn om content te genereren, kunnen studenten en docenten ondersteunen bij hun werkzaamheden. Het gebruik van essays als manier van beoordelen, komt wel onder druk te staan. Je zult daar alternatieven voor moeten bedenken of essays laten maken terwijl studenten applicaties zoals ChatGPT niet kunnen gebruiken.
Lees ook: Dit is niet geschreven door AI. Het gaat over de impact van AI op ons onderwijs.
This content is published under the Attribution 3.0 Unported license.
Fijn dat je hier zo bovenop zit. Het is duidelijk dat het onderwijs hier iets mee moet. En niet alleen het onderwijs; dit heeft ook uiteraard ook consequenties voor journalistiek en wetenschap, politiek. Wat niet eigenlijk. Heel erg boeiende ontwikkeling.
Zeker. AI heeft ook absoluut donkere kanten. Maar ik vind dit wel boeiend en bijzonder.
Gelukkig is er ook al een tool die de kans dat een tekst door deze bot is gegenereerd kan voorspellen. 😉