In hoeverre en hoe goed ondersteunen populaire generatieve AI-tools het leren van lerenden?

Philippa Hardman -die binnenkort in Utrecht een keynote verzorgd tijdens AI-deas for learning– onderzoekt in haar bijdrage Are ChatGPT, Claude & NotebookLM *Really* Disrupting Education? de mogelijkheden en beperkingen van AI-tools, zoals ChatGPT 4o, Claude 3.5 en NotebookLM, voor het ondersteunen van het leren door mensen. Haar onderzoek richt zich op de vraag in hoeverre en hoe goed deze AI-tools echt bijdragen aan het leerproces. Zijn deze tools echt mogelijk disruptief voor het huidige onderwijs? Ik plaats overigens ook kanttekeningen bij haar onderzoek.

Hardman hanteerde een evaluatiemethode waarmee zij onderzocht hoe effectief de AI-tools omgaan met en communiceren over educatieve inhoud. Ze gebruikte daarbij vijf kernvragen:

1. Informatie-inclusie: Hoe goed vat de AI kernconcepten samen?
2. Informatie-exclusie: Welke informatie wordt weggelaten?
3. Informatie-[de]emphasis: Welke ideeën worden benadrukt of onderbelicht?
4. Structuur en flow: Hoe effectief worden structuur en samenhang overgebracht?
5. Toon en stijl Hoe goed wordt de toon van het originele materiaal vastgehouden, en wat is het effect hiervan op de betekenis?

Ze gebruikte een van haar eigen onderzoeksartikelen als testmateriaal. Ze heeft met behulp van een prompt ChatGPT 4o, Claude 3.5 en NotebookLM het artikel laten samenvatten met als doel de belangrijkste concepten te kunnen begrijpen.

Uit deze analyse bleek dat de AI-tools nuttig zijn voor het toegankelijk maken van informatie. De AI-toepassingen geven volgens Hardman echter ook actief vorm aan het type en de diepte van de informatie die we ontvangen en (dankzij veranderingen in formaat en toon) aan de betekenis ervan. Bijvoorbeeld:

• ChatGPT 4o vereenvoudigt complexe informatie en laat soms essentiële details weg, zoals onderzoeksvoorbeelden en kaders.
• Claude 3.5 mist ook belangrijke praktische voorbeelden en onderzoeksdetails en is vooral geschikt als startpunt.
• NotebookLM geeft in de samenvattingen vaak oppervlakkige overzichten en mist praktische toepassingen. Dit wordt vooral zichtbaar in de podcastfunctie, waar veel academische diepgang verloren gaat.

Philippa Hardman stelt dat de drie AI-toepassingen weliswaar nuttig zijn voor het vereenvoudigen van complexe ideeën, maken dat ze geen deel uit van een volledige leerervaring. Ze zijn niet objectief en veranderen actief de informatie die ze presenteren. Voor een daadwerkelijke bijdrage aan het leerproces en effectief onderwijs, zouden deze AI-toepassingen verder moeten gaan dan alleen het verschaffen van informatie. Ze moeten lerenden doelgericht begeleiden via weloverwogen en gestructureerde leermethoden.

Hardman refereert daarbij aan drie belangrijke didactische principes:

1. Gespreid leren. Door op slimme momenten informatie te herhalen, kan de retentie van kennis verbeteren. Een AI-tool zou adaptieve algoritmes kunnen gebruiken om gespreid leren mogelijk te maken.
2. Actief ophalen van kennis. Door AI-tools zo te ontwerpen dat ze de gebruiker dwingen eerder geleerde informatie actief op te halen, kan verdiepend leren worden bevorderd.
3. Complexiteit en uitdaging: Tools zouden verschillende lagen van complexiteit moeten bieden, zodat gebruikers zich meer kunnen verdiepen in de materie naarmate hun begrip groeit.

Hardman concludeert dat AI-tools zoals ChatGPT, Claude en NotebookLM waardevol zijn om informatie toegankelijk te maken, maar dat ze nog geen volwaardige leertechnologieën zijn. Zij stelt terecht dat leren een complex proces is dat verder gaat dan alleen het absorberen van informatie. De onderzochte AI-tools ondersteunen volgens Hardman slechts de eerste stappen in dat proces. Het echte leren is nog steeds mensenwerk, concludeert zij.

Mijn opmerking

Hardman’s onderzoek betreft het maken van een samenvatting van één wetenschappelijk artikel. Het gaat dus om één educatieve toepassing, met een zeer beperkte proef. Op basis daarvan kun je m.i. echt geen verstrekkende uitspraken doen over de vragen in de inleiding van deze blogpost. Je kunt applicaties als ChatGPT en Claude namelijk ook voor andere educatieve toepassingen gebruiken, bijvoorbeeld voor het herformuleren van teksten in een eenvoudiger taal, voor het genereren van ideeën, voor het construeren van toetsvragen met antwoorden en feedback, voor het samenstellen van een advance organizer, enzovoorts. Daar komt bij dat Philippa Hardman dingen verlangt van deze AI-toepassingen waar ze niet voor bedoeld zijn. Er zijn bijvoorbeeld andere leertechnologieën die dankzij een algoritme gespreid leren mogelijk maken (ik denk bijvoorbeeld aan de MemoTrainer van aNewSpring). ChatGPT, Claude en NotebookLM kunnen weer andere dingen. Ik deel overigens haar eindconclusie. Toepassingen zoals ChatGPT en Claude ondersteunen, maar het echte leren doe je toch echt zelf.

Mijn ervaring is overigens ook dat ChatGPT en Claude redelijke samenvattingen maken, maar dat jezelf daar toch nog het één en ander aan moet passen. Verder maakt het uit welke versie je gebruikt, welke prompt en of het een uitgebreid of korter artikel is. Ik gebruik generatieve AI praktisch dagelijks om artikelen en blogpost samen te vatten (zoals de blogpost van Hardman). Vervolgens check ik de inhoud en pas ik deze aan. Er zijn mensen die diverse prompts gebruiken om een samenvatting te verbeteren, maar vanwege het hoge energieverbruik van generatieve AI ben ik daar terughoudend in.

Toch vind ik het maken van samenvattingen door generatieve AI erg handig. Zoals ik in mijn presentaties altijd vertel: Perfect? Nee! Tijdsbesparend? Ja!

Bovendien geloof ik niet zo in disruptie van het onderwijs als gevolg van dit type technologieën.

Andere bronnen over generatieve AI

1. De kracht van ChatGPT Canvas: Waarom ik Word nauwelijks meer gebruik
2. AI Can Change Conspiracy Theorists’ Minds, Study Finds: Here’s How
3. 5 Common Generative AI Prompt Writing Mistakes and How to Fix Them
4. Google’s NotebookLM: An Innovative Educator’s New Best Friend and Podcasting Powerhouse
5. Google koopt kernreactoren om AI-datacentra van stroom te voorzien
6. Evaluating Fairness in ChatGPT
7. Disruption of Generative AI on Structures of Knowledge and Power
8. Onderzoek in een notendop: Generatieve AI kan het leren bevorderen
9. Google go nuclear
10. ChatGPT has become ’the best teammate’ to these Sydney university students – but is there a limit?
11. The Few AI Tools That I Use Regularly & How I Use Them
12. Anthropic’s AI chief: funding will determine who develops AGI first
13. Overheid maakt volop gebruik van AI, maar kijkt vaak niet naar risico’s
14. ChatGPT is coming to Windows with a native app
15. Besluitvorming met behulp van AI kan mensen dichter bij elkaar brengen
16. Zoom’s AI Avatars to Replace People in Meetings
17. Penguin Random House says it won’t use AI-generated text in its books
18. Does Anyone Actually Want AI-Generated Podcasts?
19. AI stagnation: The gap between AI investment and AI adoption
20. Een kritische blik op AI: Het is een hot mess
21. SocialAI is an entirely new way of talking to AI
22. What Kind of Writer Is ChatGPT?
23. AI Won’t Give You a New Sustainable Advantage
24. Working out loud on learning in the age of Generative AI
25. How ChatGPT Boss Sam Altman’s New AI Predictions Affect Education
26. AI Terminology Cheat Sheet – Educators Technology
27. I’m a Doctor. ChatGPT’s Bedside Manner Is Better Than Mine
28. Bring Your Own AI: How to Balance Risks and Innovation
29. AI Will Not Destroy The World—AI Illiteracy And Misuse Could
30. The Illusion of AI Literacy
31. Race to Block OpenAI’s Scraping Bots Is Slowing Down
32. Google’s AI podcast tool transforms your text into stunningly lifelike audio
33. The blogosphere is in full bloom
34. Google-zoekopdrachten kan nu de oorsprong van AI afbeeldingen detecteren
35. Selecting effective edtech in the age of AI
36. Schools need more ways of knowing if AI and ed tech tools are working
37. AI Is Hallucinating…
38. What Are The Ethical Challenges In AI-Driven Assessments?
39. AI-Driven Content Creation: Your Ultimate Guide to eLearning Success
40. AI Image Generation in Education – pedagogical practices
41. Generative AI and Learning (Part 1) Organisational Capability
42. Generative AI and Learning – Part 2: Connectivity – Trust – Truth
43. Five AI Lesson Plan Generators
44. 10 Best Tools to Verify Whether a Text Is AI or Human-Written
45. New AAC&U Institute to Explore Challenges and Opportunities of AI in Teaching and Learning
46. OpenAI Launches STEM-Optimized ‘Reasoning’ AI Model
47. AI in Education in 2024: Mixed Feelings on The Tech’s Future
48. What Schools Can Do to Make Teens Smarter Users of AI
49. AI use guide helps students navigate AI in learning
50. How AI Will Transform Education in the Next Few Years
51. How AI Can Make Individualized Learning Easier for Students and Teachers
52. 11 predictions concerning technology in education revisited and updated
53. AI’s True Face in Higher Education: 10 Myths Shattered
54. Are AI skills a key part of career preparation in college?
55. Teaming up with students to design sustainability education
56. How to Reduce Edtech Use in Schools
57. How K–12 Schools Are Making Technology Work for Educators
58. How Students’ Use of ChatGPT Affects their Learning
59. Apple study exposes deep cracks in LLMs’ “reasoning” capabilities
60. Understanding the Limitations of Mathematical Reasoning in Large Language Models
61. The illusion of understanding
62. LLMs: Mistaking Engineering Achievements for Human Linguistic Competence
63. The near future of generative artificial intelligence in education
64. Shadow AI, Data Exposure Plague Workplace Chatbot Use
65. The 12 greatest dangers of AI

Mijn bronnen over (generatieve) artificiële intelligentie

Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie, zoals ChatGPT.

This content is published under the Attribution 3.0 Unported license.