Grote taalmodellen reduceren cognitieve belasting, al kan dit ook ten koste gaan van het leren

Onderzoekers van een aantal Duitse universiteiten hebben onderzoek gedaan waarbij zij hebben gekeken naar cognitieve belasting en leerresultaten bij het het gebruik van grote taalmodellen (LLM’s), in vergelijking met traditionele zoekmachines, voor het verzamelen van informatie tijdens het leren. Wat valt op?

Cognitieve belasting is belangrijk voor effectief leren. Een zekere mate van belasting is noodzakelijk om nieuwe informatie te verwerken en te onthouden. Cognitieve overbelasting, daarentegen, kan het leerproces verstoren. Nu we generatieve AI vaker gebruiken voor leren, is de publicatie Cognitive ease at a cost: LLMs reduce mental effort but compromise depth in student scientific inquiry relevant. Matthias Stadler en zijn collega’s hebben onderzocht wat effecten zijn van het gebruik van LLM’s, en dan met name ChatGPT, in vergelijking met traditionele zoekmachines (zoals Google) binnen educatieve contexten. De onderzoekers hebben daarbij gekeken naar de cognitieve belasting en de kwaliteit van leeruitkomsten bij studenten die informatie verzamelden over een wetenschappelijk vraagstuk (het gebruik van nanodeeltjes in zonnebrandcrème).

Eenennegentig studenten, met vergelijkbare voorkennis, werden willekeurig toegewezen aan twee groepen. De ene groep gebruikte LLM’s en de andere traditionele zoekmachines. De taak bestond uit het formuleren van aanbevelingen en onderbouwingen over de gezondheidsrisico’s van nanodeeltjes. Na 20 minuten onderzoek moesten de respondenten hun aanbevelingen en onderbouwingen zonder aantekeningen noteren.

Belangrijke bevindingen zijn:

Studenten die LLM’s gebruikten, rapporteerden significant lagere cognitieve belasting. Deze lagere cognitieve belasting kwam tot uiting in drie aspecten:
- Minder irrelevante informatie om te filteren (externe belasting)
- Eenvoudiger te begrijpen informatie (intrinsieke belasting)
- Minder actieve verwerking van informatie (germane cognitieve belasting)
Dit wijst op de eenvoud waarmee informatie kan worden verkregen via LLM’s.
De kwaliteit van de uiteindelijke argumentaties was lager bij LLM-gebruikers. Traditionele zoekmachines, die meer actief filteren en evalueren van bronnen vereisen, leidden tot diepere verwerking en beter onderbouwde antwoorden.
Tegen de verwachting in vertoonde de groep met LLM’s geen significant grotere homogeniteit in hun aanbevelingen dan de groep die zoekmachines gebruikte.

Het gebruik van LLM’s verminderen dus weliswaar de cognitieve belasting, maar bieden volgens de onderzoekers tevens onvoldoende cognitieve uitdaging om meer verdiepend leren te bevorderen. Traditionele zoekmachines vereisen meer inspanning. Dat kan leiden tot een betere verwerking van informatie en complexere argumentaties. De onderzoekers stellen dat de manier waarop informatie wordt gepresenteerd, sterk van invloed is op leerresultaten. Hoewel LLM’s cognitieve belasting verminderen, leidt dit niet automatisch tot meer verdiepend leren of betere resultaten. Het gebruik van digitale technologieën vereist volgens de onderzoekers cognitieve processen zoals reflectie en het combineren van bronnen om diepgaand leren te bevorderen:

Summing up, this study also emphasizes the importance of active engagement with content for deeper learning, as suggested by the cognitive load theory as well as the self-regulated learning framework. The findings highlight the need for educational strategies that not only provide information efficiently but also challenge learners to engage actively with complex material.

Mijn opmerkingen

De studie had betrekking op een vorm van onderzoekend leren met betrekking tot een specifieke taak. De groep respondenten was beperkt van omvang. Je zou ook onderzoek moeten doen binnen andere contexten. Daar komt bij dat studenten, voor zover ik kan lezen, nauwelijks zijn voorbereid op het werken met ChatGPT 3.5 (het gebruikte LLM, bepaald niet het meest krachtige model). Zij hebben alleen een hele korte instructie van ChatGPT zelf gekregen over de werking. De studenten hebben waarschijnlijk meer kennis van hoe zij zoekmachines op een goede manier kunnen gebruiken.

Verder zie ik dat een vragenlijst is gebruikt om cognitieve belasting te ‘meten’ die m.i. weinig rekening houdt met de eigenschappen van LLM’s. Twee van de zeven vragen zijn:

”Het is moeilijk om in deze taak de belangrijkste informatie te herkennen.” Logisch dat studenten waarschijnlijk bij ChatGPT aangeven dat dit helemaal niet moeilijk is. Maar is de informatie ook juist?
“De weergave in deze opdracht is niet bevorderlijk om echt iets te leren.” Het is de vraag of studenten hier echt een goede inschatting van kunnen maken als zij de sterke en minder sterke kanten van LLM’s niet kennen.

Dus wellicht valt het met die lagere cognitieve belasting bij LLM’s ook nog mee.

Deze studie onderstreept wat mij betreft wel het belang van het doordacht leren gebruiken van LLM’s voor leren. LLM’s gebruiken ter vervanging van zoekmachines, is waarschijnlijk minder aan te bevelen.

Andere bronnen over generatieve AI

Mijn bronnen over (generatieve) artificiële intelligentie

Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie, zoals ChatGPT.

This content is published under the Attribution 3.0 Unported license.

Geef een reactie