Dankzij AI elke lerende een persoonlijke begeleider. Maar hoe effectief is dat?

Laatst schreef ik dat idealiter elke lerende een individuele docent heeft die de lerende instrueert, begeleidt en ondersteunt. AI kan dit wellicht helpen realiseren. Maar leidt dit inderdaad tot betere leerprestaties?

Gisteren las ik namelijk het artikel Two-Sigma Tutoring: Separating Science Fiction from Science Fact van Paul T. von Hippel. Hij bespreekt in deze bijdrage Benjamin Bloom’s essay van het “The 2 Sigma Problem”. In 1984 publiceerde de bekende onderwijskundige Benjamin Bloom dit invloedrijk artikel waarin hij stelde dat ’tutoring’ de prestaties van een lerende met twee standaarddeviaties (sigma’s) kon verhogen. Dit zou betekenen dat een gemiddelde lerende, dankzij tutoring, zou kunnen transformeren naar een niveau dat vergelijkbaar is met de top 2% van alle lerenden.

Bloom baseerde zijn bewering op kleine experimenten uitgevoerd door zijn promovendi, Joanne Anania en Arthur Burke. In hun studies verbeterden lerenden die één-op-één tutoring kregen hun scores aanzienlijk in vergelijking met lerenden die alleen klassikale instructie kregen. Bloom stelde op basis van deze bevindingen dat tutoring het beste manier van leren is die we kennen. Zijn essay kende een warm onthaal en inspireerde latere initiatieven om de voordelen van tutoring toegankelijker te maken, zoals technologiegebaseerde tutorprogramma’s. Dankzij AI zouden deze programma’s volgens AI-adepten krachtiger worden en meer toegankelijk.

Desondanks is er Von Hippel sindsdien veel discussie over de haalbaarheid van het Two Sigma-effect in de praktijk. Bloom’s artikel was namelijk gebaseerd op onderzoek met een aantal beperkingen:

• De testen waren smal en specifiek, gericht op onbekende onderwerpen. Effecten op bredere vaardigheden waren waarschijnlijk kleiner.
• De interventie omvatte meer dan alleen tutoring. Lerenden kregen extra testen, feedback en herkansingen. Dit verklaarde ongeveer de helft van het effect.
• De tutoren ontvingen uitgebreide training in effectieve instructiemethoden.
• Tutoring verving de reguliere lessen volledig. Dit blijkt effectiever dan tutoring als aanvulling.

Daarnaast bleek het onderzoek naar het twee-sigma effect lastig te repliceren. Recente meta-analyses laten volgens de auteur zien dat de gemiddelde verbetering door tutoring veel lager ligt, met standaarddeviaties rond de 0,33 tot 0,37. Volgens onderzoekers is dan nog steeds sprake een significante verbetering, maar die komt niet in de buurt van de indrukwekkende twee sigmas die Bloom voorspelde. In 96 studies is overigens ook sprake van geen twee-sigma effect.

Paul von Hippel stelt onder meer:

In short, Bloom’s two-sigma claim had some basis in fact, but it also contained elements of fiction.

Met de opkomst van AI en technologieën zoals Khan Academy’s AI-tutoring programma’s, kun je je volgens hem opnieuw afvragen of deze nieuwe vormen van begeleiding de kloof in leerprestaties kunnen overbruggen. Er is sprake van veel optimisme. Het combineren van de natuurlijke taalcapaciteiten van chatbots met een betrouwbare formele kennisbasis, zoals een cognitieve tutor, een wiskunde-engine of een open-source tekstboek, is volgens de auteur veelbelovend. De aanpak is schaalbaar en betaalbaar. De bewijsvoering is vooralsnog beperkt en vaak contextspecifiek. Verder hangt veel van de wijze waarop tutoring vorm krijgt. Is sprake van individuele aandacht, feedback, en oefening? Wat is de kwaliteit hiervan (bijvoorbeeld van de feedback)? Hoe staat het met de scope en kwaliteit van de gebruikte testen? Hoe gaan lerenden met de AI-bots om? Nemen AI-bots het leren over, of ondersteunen deze chatbots lerenden daadwerkelijk bij het leren? En werken AI-tutoren -in tegenstelling tot tutoren van vlees en bloed- niet juist het beste aanvullend op gewoon onderwijs?

De volgende passage uit Von Hippel’s bijdrage vormt wat mij betreft dan ook een rake conclusie:

It seems rash, though, to promise two-sigma effects from AI when human tutoring has rarely produced such large effects, and no evidence on the effects of chatbot tutoring has yet been published. Over-promising can lead to disappointment, and reaching for impossible goals can breed questionable educational practices.

Mijn bronnen over (generatieve) artificiële intelligentie

Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie, zoals ChatGPT.

This content is published under the Attribution 3.0 Unported license.