Lerenden die met een zorgvuldig ontworpen AI-tutor werkten, leerden meer in minder tijd dan lerenden in een klas met actieve werkvormen. Dat blijkt uit een experiment aan Harvard University. AI-evangelisten moeten zich echter niet te snel ‘rijk rekenen’.
Onderzoekers van Harvard University hebben in een gerandomiseerd gecontroleerd experiment onderzocht hoe een AI-tutor presteert ten opzichte van actief leren in de klas. Het onderzoek laat zien dat lerenden die met de AI-tutor werkten, meer in minder tijd leerden en zich sterker betrokken en gemotiveerd voelden dan lerenden die deelnamen aan een les met actieve werkvormen. Terwijl actief leren in de klas al als aanzienlijk effectiever geldt dan een traditioneel hoorcollege.
Het experiment vond plaats in het najaar van 2023 binnen een groot inleidend natuurkundevak (N=194). De onderzoekers kozen voor een zogeheten crossover-opzet: elke lerende maakte beide condities mee, in omgekeerde volgorde. De ene week werkte groep 1 thuis met de AI-tutor terwijl groep 2 een actieve les in de klas volgde; de week erna werden de rollen omgedraaid. Voor en na elke les maakten alle lerenden een toets om hun kennis te meten. De inhoud en werkbladen waren in beide condities identiek.
De leerwinst was aanzienlijk groter bij de ‘AI-groep’. De mediaan van de scores na de les lag bij de AI-groep op 4,5 (op een schaal van 5), tegenover 3,5 bij de groep met actief leren in de klas. De mediaan van de leerwinst ten opzichte van de voormeting was bij de AI-groep ruim twee keer zo groot. Dit verschil was statistisch sterk significant. Een lineair regressiemodel, dat controleerde voor voorkennis, eerdere ervaring met ChatGPT en andere factoren, bevestigde het beeld. De effectgrootte lag, afhankelijk van de analysemethode, tussen 0,63 en 1,3 standaarddeviaties. Dat kun je als ‘groot’ beschouwen.
Daarnaast besteedden lerenden in de AI-groep minder tijd aan de lesstof. Waar de klassikale les 60 minuten duurde, was de gemiddelde studietijd met de AI-tutor 49 minuten. Zeventig procent van de lerenden had minder dan 60 minuten nodig. Er was bovendien geen verband tussen de bestede tijd en de scores na de les. Dat suggereert dat het eigen tempo van de AI-tutor een voordeel is: wie meer tijd nodig had, nam die; wie sneller door de stof kon, deed dat ook.
Op het gebied van beleving scoorde de AI-groep significant hoger op betrokkenheid en motivatie. Het plezier in de les en de mate van ‘growth mindset’ waren in beide groepen vergelijkbaar.
De onderzoekers benadrukken dat het ontwerp van de AI-tutor doorslaggevend was voor deze resultaten. De tutor was niet zomaar een chatbot, maar werd zorgvuldig gebouwd rond didactische principes: het bevorderen van actief leren, het beheersen van cognitieve belasting, het stimuleren van een growth mindset, het stapsgewijs opbouwen van lesstof, het bieden van correcte informatie en het geven van gerichte, tijdige feedback op maat. De AI-tutor had drie belangrijke kenmerken. Ten eerste begeleidt hij lerenden stap voor stap door complexe opgaven, vergelijkbaar met een docent in de klas, om te voorkomen dat onderdelen in de verkeerde volgorde aan bod kwamen. Van de lerenden gaf 83% aan dat de uitleg van de AI-tutor minstens zo goed was als die van de docent. De prompts werden verrijkt met uitgewerkte, stapsgewijze oplossingen. Ten tweede voorkomt het systeem fouten doordat de AI-toepassing werkt met vooraf door experts geschreven antwoorden, in plaats van zelf oplossingen te bedenken. Ten derde kunnen lerenden thuis op eigen tempo werken en krijgen ze direct persoonlijke feedback bij vragen.
Eerdere onderzoeken lieten juist wisselende of negatieve resultaten zien bij AI-gebruik in het onderwijs. Die studies werkten echter zonder de structuur en didactische inbedding die in dit onderzoek werden toegepast. Onbegeleid gebruik van chatbots leidt ertoe dat lerenden opdrachten afronden zonder na te denken, zo waarschuwen de onderzoekers. Het verschil zit volgens hen niet in de technologie zelf, maar in hoe die wordt ingezet.
De onderzoekers plaatsen ook kanttekeningen. Het experiment richtte zich op lesstof die lerenden voor het eerst tegenkwamen, op het niveau van begrijpen, toepassen en analyseren. Of de aanpak ook werkt bij complexere taken die synthese en kritisch denken op hoog niveau vereisen, is niet onderzocht. Bovendien vond het experiment plaats bij Harvard, al merken de onderzoekers op dat de resultaten standhielden voor lerenden met uiteenlopende niveaus van voorkennis.
De onderzoekers schrijven dat AI-tutoring kan worden ingezet als eerste kennismaking met nieuwe lesstof, zodat kostbare lestijd vrij komt voor verdiepende activiteiten zoals probleemoplossing, projectmatig werken en groepsopdrachten. Tegelijkertijd waarschuwen zij dat AI geen vervanging moet zijn voor het onderwijs in de klas, en dat docenten moeten voorkomen dat lerenden AI als sluitpost gebruiken om kritisch denken te omzeilen.
Mijn opmerkingen
Ik heb al vaker geschreven: de context doet er toe. Je kunt deze bevindingen niet zo maar vertalen naar, bijvoorbeeld, het voortgezet of middelbaar beroepsonderwijs. Daar komt bij dat een zeer zorgvuldig onderwijskundig ontworpen AI-tutor is gebruikt. Geen gewoon LLM, een GPT, ‘Gem’ of iets dergelijks. Een beperking is ook dat na elke les een toets is afgenomen, en dat niet laar de lange termijn effecten is gekeken. Daar komt bij dat onderwijs om meer draait dan cognitieve ontwikkeling en het behalen van leerresultaten.
Toch is het opvallend dat een AI-tutor kan concurreren met een didactische aanpak waarvan we min of meer weten dat deze goed werkt, terwijl een zorgvuldig ontworpen AI-tutor op veel grotere schaal kan worden ingezet. Ook is het onderzoek anderhalf jaar geleden uitgevoerd. De AI-technologie heeft sinds die tijd alleen aan kracht gewonnen.
Mijn bronnen over (generatieve) artificiële intelligentie
Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie, zoals ChatGPT.
Geef een reactie